Avaliação de Juízes: Um Modelo Estatístico para Perfilação de Avaliadores
Resumo
Neste artigo apresentamos um modelo para monitoramento de professores na avaliação de redações de acordo com as competências da redação do ENEM/INEP. Nosso modelo quantifica a confiabilidade e a concordância entre juízes baseado no coeficiente de correlação de Pearson aplicado às notas gerais, e também sobre as competências da grade de correção. Como resultado da aplicação do modelo observou-se a divergência entre dois professores na Competência 3, com um fator de correlação de ρ = -0.58. Ainda, alguns avaliadores obtiveram uma alta concordância com ρ = 1, demonstrando um alinhamento na forma de avaliar a Competência 2. As competências que denotam frequentemente uma discrepância acentuada são um sinal da necessidade de treinamento para o alinhamento dos avaliadores.
Referências
Arter, J. A. e Chappuis, J. (2006). Creating & Recognizing Quality Rubrics. Assessment Training Institute, Inc Series. Pearson Education, New York, USA.
Bussab, W. O. e Morettin, P. A. (2013). Estatística Básica. Saraiva, São Paulo, 8ª edição.
Carvalho, R. S. e Fernandes, C. T. (2012). EasyRubric: um Editor de Rubricas no Padrão IMS Rubric. Anais do Workshop do Congresso Brasileiro de Informática na Educação, páginas 10-11.
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1):37-46.
DAEB, D. D. A. D. E. B. (2017). Redação No Enem 2017 Cartilha Do Participante.
Matos, D. A. S. (2014). Confiabilidade e concordância entre juízes: aplicações na área educacional. Estudos em Avaliação Educacional, 25(59):298-324.
Oliveira, E. e Spalenza, M. (2017). Self and peer assessment strategies. Anais do Computer on the Beach.
Romão, C. (2017). Proposta de um sistema automático de avaliação de redações do Enem, foco na competência 1: Demonstrar domínio da modalidade escrita formal da língua portuguesa. Dissertação de mestrado, Universidade Federal do Espírito Santo.
Smith, R. (2006). Peer review: A flawed process at the heart of science and journals. Journal of the Royal Society of Medicine, 99(4):178-182.
Spalenza, M. A., Nogueira, M. A., de Andrade, L. B., e de Oliveira, E. (2018). Uma Ferramenta para Mineração de Dados Educacionais: Extração de Informação em Ambientes Virtuais de Aprendizagem. Anais do Computer on the Beach, páginas 741-750.
