Avaliando Ferramentas de IA Generativa no Conjunto de Perguntas e Respostas da Receita Federal - Brito, Erick de; Teotonio, Matheus; Lotufo, Roberto; Pereira, Jayr (Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL), 2025)
Os modelos de linguagem de grande escala (LLMs) revolucionaram a aquisição virtual de informações. Os LLMs são amplamente utilizados em diferentes tarefas, dada sua facilidade de manuseio e alcance de tópicos. Todavia, não é possível garantir precisão na aprendizagem dos modelos acerca de questões escassamente documentadas, mesmo em se tratando de problemáticas relevantes ou úteis ao seu conhecimento, tal como a declaração de imposto de renda no Brasil. Este trabalho então avalia a coerência de respostas trazidas por essas ferramentas generativas e para isso lhes foram submetidas as perguntas mais frequentes no tema. Assim, os resultados revelam que os LLMs comerciais são convenientes para combater dúvidas sobre a DIRPF.