Uma análise de qualidade do uso de grandes modelos de linguagem para geração automática de itens avaliativos em português - Nogueira, João Vítor de Castro Martins Ferreira; Castro, João Augusto Pilato de; Larcher, Lucas O.; Ferreira, Rosângela Veiga Júlio; Barbosa, Begma Tavares; Souza, Jairo Francisco de (Anais do Simpósio Brasileiro de Informática na Educação (SBIE), 2025)
A avaliação educacional cumpre um papel fundamental no acompanhamento da qualidade da educação. A criação e elaboração manual de itens de prova é uma tarefa custosa e altamente especializada, e o uso de grandes modelos de linguagem (LLM) tem se tornado uma solução popular na área de geração automática de itens (AIG). Este estudo realiza uma analisa qualitativa e quantitativa do uso das LLMs de propósito geral na geração de itens em Língua Portuguesa para uso em avaliações brasileiras em larga escala, os quais possuem requisitos bem definidos para sua construção e verificação de qualidade. Os resultados demonstram que tecnologias atuais não são capazes de resolver completamente o problema e que há desafios de pesquisa nesta área.