Avaliação Sistemática de Text-to-SQL em Português: Um Benchmark Unificado Multi-Domínio - Fonseca, Guilherme; C. S. Reis, Julio; Botelho, Matheus; Calais, Pedro; A. Simoes, Emerson; R. Silva, Lucas; Camara, Eduardo; Zardin, Jaide; Gonçalves, Rodrigo; Ribeiro, Gustavo; Lobato, Yago; Sene, Allan; et al. (Anais do Simpósio Brasileiro de Banco de Dados (SBBD); 2026: Anais do XLI Simpósio Brasileiro de Bancos de Dados, 2026)
A tarefa Text-to-SQL tem avançado significativamente com o uso de Grandes Modelos de Linguagem (LLMs), mas sua avaliação em português ainda é limitada. Este trabalho propõe um benchmark unificado que consolida quatro bases públicas de diferentes domínios e avalia seis LLMs distintos a partir das métricas EX e CM sob um protocolo experimental padronizado. Os resultados mostram que, embora os modelos superem 70% de EX no Spider, o melhor desempenho no DATASUS alcança apenas 27,5%. A discrepância entre CM e EX também evidencia limitações de generalização composicional. Esses resultados sugerem que avaliações isoladas podem superestimar a capacidade dos modelos e destacam a necessidade de benchmarks integrados e multi-domínio.