Avaliação de Juízes: Um Modelo Estatístico para Perfilação de Avaliadores - Alves, James; de Oliveira, Elias (Anais do Simpósio Brasileiro de Informática na Educação (SBIE); 2019: Anais do XXX Simpósio Brasileiro de Informática na Educação, 2019)
Neste artigo apresentamos um modelo para monitoramento de professores na avaliação de redações de acordo com as competências da redação do ENEM/INEP. Nosso modelo quantifica a confiabilidade e a concordância entre juízes baseado no coeficiente de correlação de Pearson aplicado às notas gerais, e também sobre as competências da grade de correção. Como resultado da aplicação do modelo observou-se a divergência entre dois professores na Competência 3, com um fator de correlação de ρ = -0.58. Ainda, alguns avaliadores obtiveram uma alta concordância com ρ = 1, demonstrando um alinhamento na forma de avaliar a Competência 2. As competências que denotam frequentemente uma discrepância acentuada são um sinal da necessidade de treinamento para o alinhamento dos avaliadores.