Uma Análise Comparativa de LLMs com Técnicas de Engenharia de Prompt para Classificação Automática de Respostas Curtas - Santos, Heder Silva; Rodrigues, Luiz; Costa, Newarney Torrezão; Melo, Rafael Ferreira; Pereira Junior, Cleon (Anais do Simpósio Brasileiro de Informática na Educação (SBIE), 2025)
A Correção Automática de Respostas Curtas (ASAG) busca reduzir o esforço humano em avaliações educacionais de larga escala, mas ainda há poucas investigações em português brasileiro. Este estudo compara três grandes modelos de linguagem (GPT-4o-mini, Sabiazinho-3 e Gemini 2.0-Flash) e analisa o impacto de sete elementos de engenharia de prompt no desempenho dos modelos. Com base em um conjunto de dados em português, avaliamos todas as combinações possíveis desses elementos. A combinação de exemplos few-shot com rubrica explícita foi a mais eficaz; o raciocínio passo a passo beneficiou especialmente o GPT-4o-mini. Sabiazinho-3 teve maior concordância com humanos, Gemini 2.0-Flash obteve menor erro médio absoluto, mas com mais alucinações, e o GPT-4o-mini gerou saídas numéricas mais limpas.