Avaliação de Juízes: Um Modelo Estatístico para Perfilação de Avaliadores - Alves, James; de Oliveira, Elias (Anais do Simpósio Brasileiro de Informática na Educação (SBIE); 2019: Anais do XXX Simpósio Brasileiro de Informática na EducaçãoDO - 10.5753/cbie.sbie.2019.199, 2019)
Neste artigo apresentamos um modelo para monitoramento de professores na avaliação de redações de acordo com as competências da redação do ENEM/INEP. Nosso modelo quantifica a confiabilidade e a concordância entre juízes baseado no coeficiente de correlação de Pearson aplicado às notas gerais, e também sobre as competências da grade de correção. Como resultado da aplicação do modelo observou-se a divergência entre dois professores na Competência 3, com um fator de correlação de ρ = -0.58. Ainda, alguns avaliadores obtiveram uma alta concordância com ρ = 1, demonstrando um alinhamento na forma de avaliar a Competência 2. As competências que denotam frequentemente uma discrepância acentuada são um sinal da necessidade de treinamento para o alinhamento dos avaliadores.