APS-RAG-Benchmark: Um Recurso Inicial para Avaliação de RAG na Atenção Primária à Saúde - Andrade, Claudio M. V. de; Magalhães, Gestefane Rabbi; Asevedo, Raiane; Paes, Julia; Oliveira, Isaias José Ramos; Pagano, Adriana; Reis, Zilma; Gonçalves, Marcos André (Anais do Simpósio Brasileiro de Banco de Dados (SBBD); 2026: Anais do XLI Simpósio Brasileiro de Bancos de DadosDO - 10.5753/sbbd.2026.249660, 2026)
Este trabalho apresenta o APS-RAG-Benchmark, um benchmark preliminar para avaliação de sistemas Retrieval-Augmented Generation (RAG) no domínio do e-SUS Atenção Primária à Saúde (APS). O benchmark reúne um dataset validado por especialistas, composto por perguntas reais de tickets de suporte, fontes documentais relevantes e respostas geradas por modelos de linguagem e revisadas por humanos. Além de disponibilizar um recurso para um domínio ainda pouco explorado em português, o trabalho propõe um protocolo experimental que avalia separadamente as etapas de recuperação e geração. Os resultados mostram que a combinação de estratégias léxicas (BM25) e semânticas melhora significativamente a recuperação, elevando o MRR de 0,298 para 0,596. Além disso, observou-se alinhamento frequente entre as fontes recuperadas e as consideradas corretas pelos especialistas, com até 69% das respostas avaliadas como adequadas.