Módulo Integrado para Avaliação Contínua de Modelos de Linguagem em Plataforma de Saúde Digital

• Ana Cláudia Machado UFSJ
• Elisa Tuler UFSJ
• Víctor Macul Ana Health Brasil
• Olívio Souza Ana Health Brasil
• Jussara Almeida UFMG
• Marcos André Gonçalves UFSJ
• Leonardo Rocha UFSJ

DOI: https://doi.org/10.5753/sbcas_estendido.2026.21285

Resumo

A atenção digital mediada por mensagens amplia acesso, mas intensifica a sobrecarga informacional e o risco de inconsistências em textos clínicos gerados automaticamente. Este artigo descreve um protótipo demonstrável integrado à plataforma Ana Health para estruturar um ciclo contínuo de avaliação de saídas de LLMs (sumarização, transcrição e resposta clínica). A ferramenta suporta avaliação cega (origens anonimizadas: humano vs LLM) e comparação A/B entre modelos, com critérios padronizados e score de 0–100 inspirado na SUS. Descrevemos a motivação, os stakeholders, o processo de desenvolvimento, a elicitação e os requisitos, além do desenho do módulo e do fluxo de avaliação. Por se tratar de trabalho em andamento, arquitetura detalhada, tecnologias finais e uma bateria completa de testes ainda estão em consolidação; contudo, o protótipo e um vídeo de instalação estão disponibilizados para demonstração.

Referências

Brooke, J. (1996). Sus-a quick and dirty usability scale. Usability evaluation in industry, 189(194):4–7.

Ferreira, A., Rocha, L., Cunha, W., Machado, A., Campos, J., Jallais, G., Viana, A., Tuler, E., Araújo, I., Macul, V., Souza Neto, O., Pereira de Souza Júnior, A., de Souza, G., Pallone, J., Aparecida, M., Santos, W., and Gonçalves, M. A. (2025). A comprehensive qualitative analysis of patient dialogue summarization using large language models applied to noisy, informal, non-english real-world data. Scientific Reports, 15:31660.

Keszthelyi, D., Gaudet-Blavignac, C., Bjelogrlic, M., and Lovis, C. (2023). Patient information summarization in clinical settings: Scoping review. JMIR Medical Informatics, 11:e44639.