LLMAgentGrader: Sistema Multiagente com DeepSeek para Correção Automática Aprimorada de Respostas Curtas - Rodrigues Neto, José; Alves, Gabriel; Mello, Rafael Ferreira (Anais do Simpósio Brasileiro de Informática na Educação (SBIE), 2025)
A Correção Automática de Respostas Curtas (ASAG) é crucial para escalar a avaliação educacional, mas apresenta desafios em precisão. Modelos de Linguagem de Grande Porte (LLMs) como o GPT-4 demonstraram potencial, mas abordagens com LLMs únicos podem ter limitações. Este artigo apresenta o LLMAgentGrader, um sistema multiagente utilizando DeepSeek-Chat, projetado para ASAG. O sistema emprega agentes especializados para: (i) gerar respostas de referência (inclusive com busca na web), (ii) extrair conceitos principais das respostas, e (iii) sugerir notas com base em comparação semântica e completude, utilizando uma estratégia de few-shot learning dinâmico com um histórico de correções anteriores amostradas aleatoriamente. Esse estudo valida o LLMAgentGrader nos datasets TEXAS (inglês) e ASAG 2018 (português), comparando-o com resultados de um sistema GPT-4 e modelos tradicionais de Aprendizagem de Máquina. Os resultados demonstram que a abordagem multiagente com DeepSeek-Chat alcança um desempenho significativamente superior em termos de MAE e RMSE, superando não apenas o GPT-4, mas também alguns modelos tradicionais em cenários específicos.