PAIRS: Um Pipeline para Geração Automática e Curadoria de Benchmarks Text-to-SQL - Camara, Eduardo C. da; Zardin, Jaide F. C.; Lobato, Yago; Fonseca, Guilherme; Botelho, Matheus; A. Simoes, Emerson; R. Silva, Lucas; Calais, Pedro; Gonçalves, Rodrigo; Ribeiro, Gustavo; Sene, Allan; C. S. Reis, Julio; et al. (Anais Estendidos do Simpósio Brasileiro de Banco de Dados (SBBD); 2026: Anais Estendidos do XLI Simpósio Brasileiro de Bancos de DadosDO - 10.5753/sbbd_estendido.2026.249381, 2026)
Este trabalho apresenta o PAIRS (Persona-Aware Intents for Real-world SQL), um pipeline para geração automática e curadoria de pares Linguagem Natural–SQL com suporte Human-in-the-Loop, disponibilizado por meio de uma interface Web. A abordagem integra geração e validação automática de consultas SQL, síntese de perguntas condicionadas a diferentes personas, técnicas de paráfrase para ampliação da diversidade linguística e curadoria humana em um fluxo unificado. Ao simular diferentes perfis de usuários e níveis de letramento em dados, o pipeline busca produzir benchmarks Text-to-SQL semanticamente consistentes e mais próximos de cenários reais de uso. Como estudo de caso, a abordagem foi avaliada no domínio da saúde pública utilizando bases do DataSUS. Os resultados demonstram o potencial do PAIRS para apoiar a construção interativa de benchmarks especializados e aprimorar a avaliação de sistemas Text-to-SQL. A implementação do PAIRS possui código aberto disponível em repositório público, juntamente com um vídeo demonstrativo da abordagem.