TriMElo: Uma Proposta de Modelo para Avaliação Multi-Habilidades

• Fabiana Zaffalon Ferreira Universidade Federal do Rio Grande https://orcid.org/0000-0001-8777-9560
• André Prisco Vargas Universidade Federal do Rio Grande
• Ricardo Lemos de Souza Universidade Federal do Rio Grande
• Jean Luca Bez Universidade Regional Integrada do Alto Uruguai e das Missões
• Neilor Tonin Universidade Regional Integrada do Alto Uruguai e das Missões
• Rafael Penna Santos FURG
• Silvia Silva da Costa Botelho Universidade Federal do Rio Grande (FURG) https://orcid.org/0000-0002-8857-0221

DOI: https://doi.org/10.5753/cbie.sbie.2020.102

Resumo

Os métodos de avaliação que mais se destacam são aqueles que apresentam um panorama preciso da evolução das múltiplas habilidades dos estudantes. Dessa forma, apresentamos o modelo TriMElo que tem por objetivo estimar simultaneamente a habilidade geral e as sub-habilidades dos estudantes de acordo com as habilidades envolvidas nos problemas. O modelo se preocupa em verificar quais são as sub-habilidades determinantes para o erro ou acerto da questão para que suas atualizações ocorram de forma distintas. Para validar o modelo utilizamos uma base de dados da plataforma URI Online Judge. Os resultados empíricos apontam que o modelo TriMElo atualiza as sub-habilidades de forma mais suave, conforme resposta errada ou correta.

Palavras-chave: Habilidades, Elo, TRI, TriMelo

Referências

Andrade, D., Tavares, H., and Valle, R. (2000). Teoria da resposta ao item: conceitos e aplicações. In Simpósio Nacional de Probabilidade e Estatística (SINAPE).


Baker, F. (2001). The basics of Item Response Theory. ERIC.


Bez, J. L., Tonin, N. A., and Rodegheri, P. R. (2014). URI Online Judge Academic: A tool for algorithms and programming classes. In 2014 9th International Conference on Computer Science Education, pages 149–152.


Cazella, S. C., Behar, P., Schneider, D., da Silva, K. K., and Freitas, R. (2012). Desenvolvendo um sistema de recomendação de objetos de aprendizagem baseado em


competências para a educação: relato de experiências. In Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educaçãao-SBIE), volume 23.


Elo, A. (1978). The rating of chessplayers, past and present. Arco Pub.


Moreira, G. L., Holanda, W., Coutinho, J. C. d. S., and Chagas, F. S. (2018). Desafios na aprendizagem de programação introdutória em cursos de TI da UFERSA, campus Pau dos Ferros: um estudo exploratorio. Anais do Encontro de Computação do Oeste Potiguar ECOP/UFERSA (ISSN 2526-7574), (2).


Nojosa, R. T. (2002). Teoria da Resposta ao Item (TRI): modelos multidimensionais. Estudos em Avaliação Educacional, (25):123–166.


Park, J. Y., Cornillie, F., van der Maas, H. L., and Van Den Noortgate, W. (2019). A multidimensional irt approach for dynamically monitoring ability growth in computerized practice environments. Frontiers in psychology, 10.


Pasquali, L. (2018). TRI–Teoria de resposta ao item: Teoria, procedimentos e aplicações. Editora Appris.


Pelanek, R. (2016). Applications of the Elo rating system in adaptive educational systems. Computers Education, 98:169–179.


Prisco, A., Santos, R., Botelho, S., Tonin, N., and Bez, J. (2018). A multidimensional Elo model for matching learning objects. In 2018 IEEE Frontiers in Education Conference (FIE).


Reckase, M. D. (2006). Multidimensional item response theory. Handbook of statistics, 26:607–642.


Robins, A. (2010). Learning edge momentum: A new account of outcomes in cs1. Computer Science Education, 20(1):37–71.


Vargas, A. P., dos Santos, R. A. P., Bez, J., Tonin, N., and da Costa Botelho, S. S. (2019). Um modelo de mediação pedagógica para ambientes massivos. RENOTE-Revista Novas Tecnologias na Educação , 17(1):93–102.


Wauters, K., Desmet, P., and Van Den Noortgate, W. (2012). Item difficulty estimation: An auspicious collaboration between data and judgment. Computers & ducation,


58(4):1183–1193.