Análise quantitativa da concordância entre pares de avaliadores de recursos digitais educacionais: um estudo de caso com dados do repositório Merlot - Stein, Mayara Sousa; Cechinel, Cristian; Ramos, Vinicius F.C. (Anais do Simpósio Brasileiro de Informática na Educação (SBIE); 2019: Anais do XXX Simpósio Brasileiro de Informática na Educação, 2019)
Dentre as estratégias comumente adotadas pelos repositórios de recursos educacionais para a garantida da qualidade dos recursos está a avaliação dos mesmos pela própria comunidade de usuários (por meio de comentários e notas). A apresentação final da qualidade do recurso (nota) é então realizada a partir do cálculo da média geral das pontuações fornecidas por essa comunidade. Apesar da consolidação dessa estratégia e da sua larga adoção, a mesma acaba escondendo a distribuição das pontuações obtidas e as nuances dessas avaliações com respeito às características específicas dos diferentes tipos de usuários avaliadores (nível educacional, atuação profissional, assuntos de interesse). O presente artigo apresenta uma análise quantitativa da concordância entre pares de avaliadores de recursos digitais educacionais do repositório Merlot, utilizando o coeficiente ICC (Intra-class correlation coefficient) para medição do grau de concordância. Os resultados apontam para uma alta discordância entre os avaliadores.