Querying Databases with Natural Language: The use of Large Language Models for Text-to-SQL tasks - Nascimento, Eduardo Roger S.; Casanova, Marco Antonio (Anais Estendidos do Simpósio Brasileiro de Banco de Dados (SBBD); 2024: Anais Estendidos do XXXIX Simpósio Brasileiro de Bancos de Dados, 2024)
A tarefa de Texto-para-SQL envolve a geração de consultas SQL com base em um banco de dados relacional e uma pergunta em Linguagem Natural (LN). Embora os Modelos de Linguagem Grandes (LLMs) apresentem bom desempenho em benchmarks conhecidos, eles são avaliados em bancos de dados com esquemas mais simples. Esta dissertação avalia inicialmente sua eficácia em um banco de dados complexo e disponível publicamente (Mondial) utilizando GPT-3.5 e GPT-4. Os resultados indicam que os modelos baseados em LLM têm desempenho inferior e dificuldades com a vinculação de esquemas e joins. Para melhorar a precisão, este trabalho propõe o uso de views e descrições de dados amigáveis para LLMs. Um segundo experimento, em um banco de dados do mundo real, confirma que essa abordagem aumenta a precisão na tarefa de Texto-para-SQL.