Módulo Integrado para Avaliação Contínua de Modelos de Linguagem em Plataforma de Saúde Digital - Machado, Ana Cláudia; Tuler, Elisa; Macul, Víctor; Souza, Olívio; Almeida, Jussara; Gonçalves, Marcos André; Rocha, Leonardo (Anais Estendidos do Simpósio Brasileiro de Computação Aplicada à Saúde (SBCAS); 2026: Anais Estendidos do XXVI Simpósio Brasileiro de Computação Aplicada à Saúde, 2026)
A atenção digital mediada por mensagens amplia acesso, mas intensifica a sobrecarga informacional e o risco de inconsistências em textos clínicos gerados automaticamente. Este artigo descreve um protótipo demonstrável integrado à plataforma Ana Health para estruturar um ciclo contínuo de avaliação de saídas de LLMs (sumarização, transcrição e resposta clínica). A ferramenta suporta avaliação cega (origens anonimizadas: humano vs LLM) e comparação A/B entre modelos, com critérios padronizados e score de 0–100 inspirado na SUS. Descrevemos a motivação, os stakeholders, o processo de desenvolvimento, a elicitação e os requisitos, além do desenho do módulo e do fluxo de avaliação. Por se tratar de trabalho em andamento, arquitetura detalhada, tecnologias finais e uma bateria completa de testes ainda estão em consolidação; contudo, o protótipo e um vídeo de instalação estão disponibilizados para demonstração.