Um estudo comparativo entre dois modelos que estimam a habilidade dos estudantes: ELO e Teoria de Resposta ao Item

• Fabiana Zaffalon Universidade Federal do Rio Grande (FURG)
• André Prisco Universidade Federal do Rio Grande (FURG)
• Ricardo Souza Universidade Federal do Rio Grande (FURG)
• Rafael Penna Universidade Federal do Rio Grande (FURG)
• Jean Luca Bez Universidade Regional Integrada do Alto Uruguai e das Missões (URI)
• Neilor Tonin Universidade Regional Integrada do Alto Uruguai e das Missões (URI)
• Silvia Botelho Universidade Federal do Rio Grande (FURG)

DOI: https://doi.org/10.5753/cbie.sbie.2019.459

Resumo

Atualmente, há muitas plataformas online que disponibilizam bancos de exercícios de programação, onde a avaliação ocorre de forma automática. O presente trabalho apresenta uma análise de dois modelos que têm por objetivo estimar a habilidade dos estudantes: ELO e Teoria TRI. O ELO foi desenvolvido para classificar jogadores através do histórico de jogo, e o TRI estima a habilidade através de um conjunto de respostas dadas a um conjunto de itens. Para a aplicação dos modelos, utilizamos um banco de dados de uma plataforma Online Judge. Os resultados obtidos nos apontam diferenças entre os modelos em relação às habilidades estimadas, diferenças que acreditamos estar relacionadas à forma como cada modelo estima os parâmetros.

Palavras-chave: ELO, Teoria de Resposta ao Item, habilidade dos estudantes, plataformas online, avaliação automática

Referências

A. Prisco, R. Santos, S. B. N. T. and Bez, J. (2017). Using information technology for personalizing the computer science teaching. In 2017 IEEE Frontiers in Education Conference (FIE).

A. Prisco, R. Santos, S. B. N. T. and Bez, J. (2018). A multidimensional elo model for matching learning objects. In 2018 IEEE Frontiers in Education Conference (FIE).

Andrade, D. and Justino, G. (2007). Software para avaliação de aprendizagem utilizando a teoria da resposta ao item. In Anais do XXVII Congresso da SBC).

Baker, F. (2001). The basics of Item Response Theory. ERIC.

Braga, B. (2015). Teoria da resposta ao item: o uso do modelo de samejima como proposta de correção para itens discursivos. Master’s thesis, UnB.

Chalmers, R. (2012). mirt: A multidimensional item response theory package for the r environment. Journal of Statistical Software, 48:1–29.

D.F. Andrade, H. T. and Valle, R. (2000). Teoria da resposta ao item: conceitos e aplicações. In Simpósio Nacional de Probabilidade e Estatística (SINAPE).

E.A.C. Araujo, D. and Bortolotti, S. (2009). Teoria de resposta ao item. Revista da Escola de Enfermagem da USP, 43:1000–1008.

Elo, A. (1978). The rating of chessplayers, past and present. Arco Pub.

Oliveira, L. (2017). O desempenho em matemática do enem de 2012 em luis eduardo magalhães (ba), na teoria de resposta ao item. Master’s thesis, UFT.

Pelánek, R. (2016). Applications of the elo rating system in adaptive educational systems. Computers Education, 98:169–179.

Tavares, C. (2014). A teoria de resposta ao item na avaliação em larga escala: Um estudo sobre o exame nacional de acesso ao mestrado profissional em matemática em rede nacional-profmat. Master’s thesis, IMPA.