Sumarização Multimodal de Diálogos Clínicos na Atenção Primária Digital: Integrando Mensagens Textuais e Áudios - Reis, Davi; Ferreira, Anderson A.; Cunha, Washington; Macul, Victor; Neto, Olivio; Almeida, Jussara; Rocha, Leonardo; Gonçalves, Marcos André (Anais do Simpósio Brasileiro de Computação Aplicada à Saúde (SBCAS), 2026)
Plataformas de mensagens na saúde digital ampliaram o volume de interações, tornando a gestão e a recuperação de informações clínicas um desafio central na Atenção Primária Digital. Embora a sumarização automática de diálogos textuais com Grandes Modelos de Linguagem (LLMs) tenha sido explorada, parte relevante do diálogo ocorre por áudio. Assim, este trabalho propõe um pipeline multimodal para integrar fala e texto na sumarização com LLMs. Foi investigado (i) como extrair automaticamente informações clínicas de áudios com qualidade variável e (ii) o impacto dessa integração na qualidade do resumo. A metodologia foi desenvolvida a partir de 706 áudios reais, com base anotada manualmente e classificadores para filtrar transcrições inadequadas. Os resultados mostram que incorporar áudios enriquece os resumos, aumentando contextualização e detalhamento das informações clínicas.