Análise quantitativa da concordância entre pares de avaliadores de recursos digitais educacionais: um estudo de caso com dados do repositório Merlot

• Mayara Sousa Stein Universidade Federal de Santa Catarina (UFSC)
• Cristian Cechinel Universidade Federal de Santa Catarina (UFSC)
• Vinicius F.C. Ramos Universidade Federal de Santa Catarina (UFSC)

DOI: https://doi.org/10.5753/cbie.sbie.2019.389

Resumo

Dentre as estratégias comumente adotadas pelos repositórios de recursos educacionais para a garantida da qualidade dos recursos está a avaliação dos mesmos pela própria comunidade de usuários (por meio de comentários e notas). A apresentação final da qualidade do recurso (nota) é então realizada a partir do cálculo da média geral das pontuações fornecidas por essa comunidade. Apesar da consolidação dessa estratégia e da sua larga adoção, a mesma acaba escondendo a distribuição das pontuações obtidas e as nuances dessas avaliações com respeito às características específicas dos diferentes tipos de usuários avaliadores (nível educacional, atuação profissional, assuntos de interesse). O presente artigo apresenta uma análise quantitativa da concordância entre pares de avaliadores de recursos digitais educacionais do repositório Merlot, utilizando o coeficiente ICC (Intra-class correlation coefficient) para medição do grau de concordância. Os resultados apontam para uma alta discordância entre os avaliadores.

Palavras-chave: Recursos educacionais, Avaliação de qualidade, Repositório Merlot, Concordância entre avaliadores

Referências

Atenas, J. and Havemann, L. (2014). Questions of quality in repositories of open educational resources: a literature review. Research in Learning Technology, 22.

Cechinel, C. and Sánchez-Alonso, S. (2011). Analyzing associations between the different ratings dimensions of the merlot repository. Interdisciplinary Journal of E-Learning and Learning Objects, 7(1): 1–9.

Cechinel, C., Sánchez-Alonso, S., and García-Barriocanal, E. (2011). Statistical profiles of highly-rated learning objects. Computers & Education, 57(1): 1255–1269.

Clements, K., Pawlowski, J., and Manouselis, N. (2015). Open educational resources repositories literature review - Towards a comprehensive quality approaches framework. Computers in Human Behavior, 51: 1098–1106.

Downes, S. (2017). Models for Sustainable Open Educational Resources. Interdisciplinary Journal of e-Skills and Lifelong Learning, 3(September): 029–044.

Ehlers, U.-D. and Pawlowski, J.M. (2006). Handbook on Quality and Standardisation in E-Learning.

Fonseca, R., Silva, P., and Silva, R. (2014). Acordo inter-juízes: O caso do coeficiente kappa. Laboratório de Psicologia, 5(1): 81–90.

Han, P., Kortemeyer, G., Kramer, B.J., and von Prummer, C. (2008). Exposure and support of latent social networks among learning object repository users. Journal of Universal Computer Science, 14(10): 1717–1738.

Hylén, J. (2006). Open educational resources: Opportunities and challenges. Proceedings of Open Education, 4963.

Joseph L. Fleiss, Bruce Levin, M.C.P. (1981). Statistical Methods for Rates and Proportions. Wiley Series in Probability and Statistics.

Koo, T.K. and Li, M.Y. (2016). A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of chiropractic medicine, 15(2): 155–63.

Kutluca, A. (2010). MULTIMEDIA EDUCATIONAL RESOURCE FOR LEARNING AND ONLINE TEACHING (MERLOT) (Website Review). The Turkish Online Journal of Distance Education, 11.

Matos, D.A.S. (2014). Confiabilidade e concordância entre juízes: aplicações na área educacional. Estudos em Avaliação Educacional, 25(59): 298–324.

Pawlowski, J.M. (2007). The quality adaptation model: Adaptation and adoption of the quality standard iso/iec 19796-1 for learning, education, and training. Journal of Educational Technology & Society, 10(2): 3–16.

Tinsley, H.E.A. and Weiss, D.J. (2000). Interrater reliability and agreement. In Handbook of applied multivariate statistics and mathematical modeling, pages 95–124. Academic Press, San Diego, CA, US.