Analysis of Questionnaires for Virtual Learning Environments based on Item Response Theory

• Oscar Yair Ortegon Romero Universidade Federal do Rio Grande do Sul (UFRGS)
• Guilherme Medeiros Machado Universidade Federal do Rio Grande do Sul (UFRGS)
• Leandro Krug Wives Universidade Federal do Rio Grande do Sul (UFRGS)

DOI: https://doi.org/10.5753/cbie.sbie.2019.509

Resumo

Este artigo apresenta um modelo para o planejamento e a criação de questionários adaptativos utilizados em ambientes virtuais de aprendizagem. O modelo apresentado combina o uso da Teoria de Resposta ao Item (TRI) com a análise histórica de questionários. Com base nisso, propõe-se uma metodologia para a categorização e ranqueamento das questões pertencentes aos questionários. Tal ranqueamento fornece um feedback valioso para o professor ou tutor, que pode então refinar e adaptar o questionário. Os resultados dos experimentos mostram que, levando-se em consideração os parâmetros da TRI, é possível extrair um ranking das questões mais aptas ao ensino de determinado tópico. Espera-se que o uso da metodologia auxilie o docente na elaboração de questionários mais concisos e eficazes.

Palavras-chave: Ambientes Virtuais de Aprendizagem, Teoria da Resposta ao Item, Questionários Adaptativos

Referências

Baker, F.B. and Kim, S.-H. (2017). Test calibration. In The Basics of Item Response Theory Using R, pages 105–125. Springer.

Bong Na, W., Marshall, R., and Lane Keller, K. (1999). Measuring brand power: validating a model for optimizing brand equity. Journal of product & brand management, 8(3): 170–184.

Brusilovsky, P. (2001). Adaptive Hypermedia. User Modeling and User-Adapted Interaction, 11(1-2): 87–110.

Chalhoub-Deville, M. and Deville, C. (1999). Computer adaptive testing in second language contexts. Annual Review of Applied Linguistics, pages 273–299.

Darling-Hammond, L. (2000). Teacher quality and student achievement. Education policy analysis archives, 8:1.

de Andrade, D.F., Tavares, H.R., and da Cunha Valle, R. (2000). Teoria da resposta ao item: conceitos e aplicações. ABE, São Paulo.

Fernández, J.M. and Hambleton, R.K. (1992). Medio siglo de teoría de respuesta a los ítems. Anuario de psicología/The UB Journal of psychology, (52): 41–66.

Field, A. (2009). Descobrindo a estatística usando o SPSS-2. Bookman Editora.

Huang, J. and Wu, W. (2017). T-bmirt: Estimating representations of student knowledge and educational components in online education. In Big Data (Big Data), 2017 IEEE International Conference on, pages 1301–1306. IEEE.

Jatobá, V., Valdivia-Delgado, K., Farias, J., and Freire, V. (2017). Testes adaptativos computadorizados baseados na teoria de resposta ao item em sistemas e-learning: Uma revisão sistemática da literatura. In Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informática na Educação - SBIE), volume 28, page 273.

Millán, E., Descalço, L., Castillo, G., Oliveira, P., and Diogo, S. (2013). Using Bayesian networks to improve knowledge assessment. Computers & Education, 60(1): 436–447.

Rizopoulos, D. (2006). ltm: An R package for latent variable modeling and item response theory analyses. Journal of statistical software, 17(5): 1–25.

Santos, F.D. and de Rezende Guedes, L.G. (2005). Testes adaptativos informatizados baseados em teoria de resposta ao item utilizados em ambientes virtuais de aprendizagem. RENOTE, 3(2).

Tian, X., Han, X., Cheng, H.N., Chang, W.-C., Liao, C.C., Sun, J., Zhu, X., and Liu, S. (2017). Applying item response theory to analyzing and improving the item quality of an online Chinese reading assessment. In 2017 6th IIAI International Congress on Advanced Applied Informatics (IIAI-AAI), pages 754–759. IEEE.

Vendramini, C.M.M. (2002). Aplicação da teoria de resposta ao item na avaliação educacional. Temas em avaliação psicológica, pages 116–130.