Comparação de Regras de Seleção de Itens em Testes Adaptativos Computadorizados: um estudo de caso no ENEM

• Victor M. G. Jatobá Universidade de São Paulo (USP)
• Karina V. Delgado Universidade de São Paulo (USP)
• Jorge S. Farias Universidade do Estado da Bahia (UNEB)
• Valdinei Freire Universidade de São Paulo (USP)

DOI: https://doi.org/10.5753/cbie.sbie.2018.1453

Resumo

Testes Adaptativos Computadorizados (CAT), baseados na Teoria de Resposta ao Item, permitem fazer testes mais precisos com um menor número de questões que a prova clássica P&P (Paper and Pencil). Estudos mostraram que CAT, utilizando a regra de seleção de Informação de Fisher, reduziu em 26,6% o tamanho da prova de Matemática e suas Tecnologias do ENEM de 2012 em relação a prova P&P de 45 itens. Entretanto, não é conhecido o impacto na estimativa dos escores dos respondentes no uso de diferentes regras de seleção de itens. O objetivo deste trabalho é analisar esse impacto. Os resultados mostram que o tamanho dessa prova pode ser reduzido ainda mais com o uso de outras regras de seleção de itens, sem perda significativa da precisão na estimativa dos escores dos respondentes.

Palavras-chave: testes adaptativos computadorizados, informação de Fisher, seleção de itens, teoria da resposta ao item, ENEM

Referências

Andrade, G. G. (2013). A metodologia do ENEM: uma reflexão. Série-Estudos-Periódico do Programa de Pós-Graduação em Educação da UCDB, (33).

Barrada, J. R., Olea, J., Ponsoda, V., and Abad, F. J. (2008). Incorporating randomness in the fisher information for improving item-exposure control in cats. British Journal of Mathematical and Statistical Psychology, 61(2):493–513.

Chang, H.-H. and Ying, Z. (1996). A global information approach to computerized adaptive testing. Applied Psychological Measurement, 20(3):213–3229.

Chen, C.-M., Lee, H.-M., and Chen, Y.-H. (2005). Personalized e-learning system using item response theory. Computers & Education, 44(3):237–255.

Chen, S.-Y. and Ankenman, R. D. (2004). Effects of practical constraints on item selection rules at the early stages of computerized adaptive testing. Journal of Educational Measurement, 41(2):149–174.

Chen, S.-Y., Ankenmann, R. D., and Chang, H.-H. (2000). A comparison of item selection rules at the early stages of computerized adaptive testing. Applied Psychological Measurement, 24(3):241–255.

Costa, C. E. S. (2015). Análise da dimensionalidade e modelagem multidimensional pela TRI no ENEM (1998-2008). PhD thesis, Universidade Federal de Santa Catarina.

de Andrade, D. F., Tavares, H. R., and da Cunha Valle, R. (2000). Teoria da resposta ao item: conceitos e aplicações. ABE, São Paulo.

Eggen, T. and Straetmans, G. (2000). Computerized adaptive testing for classifying examinees into three categories. Educational and Psychological Measurement, 60(5):713–734.

Gonçalves, J. P. and Aluísio, S. M. (2015). Teste adaptativo computadorizado multidimensional com propósitos educacionais: Princípios e métodos. Revista Ensaio: Avaliação e Políticas Públicas em Educação, 23(87):389–414.

Guzmán, E. and Conejo, R. (2004). A model for student knowledge diagnosis through adaptive testing. In International Conference on Intelligent Tutoring Systems, pages 12–21. Springer.

Hanson, B. A. (2002). IRT command language (ICL). Disponível em: [link]. Acesso em: 21 maio 2017.

INEP (2016). Microdados do ENEM. Brasília: Inep, 2016. Disponível em: [link]. Acesso em: 29 mar. 2017.

Kovatcheva, E. and Nikolov, R. (2009). An adaptive feedback approach for e-learning systems. IEEE Technology and Engineering Education (ITEE), 4(1):55–57.

López-Cuadrado, J., Pérez, T. A., Vadillo, J. Á., and Gutiérrez, J. (2010). Calibration of an item bank for the assessment of basque language knowledge. Computers & Education, 55(3):1044–1055.

Lord, F. M. (1980). Applications of item response theory to practical testing problems. Routledge.

Olea, J. and Ponsoda, V. (1996). Tests adaptativos informatizados. Psicometria, pages 731–783.

Spenassato, D., Trierweiller, A. C., de Andrade, D. F., and Bornia, A. C. (2016). Testes adaptativos computadorizados aplicados em avaliações educacionais. Revista Brasileira de Informática na Educação, 24(2).

Thompson, N. A. and Weiss, D. J. (2011). A framework for the development of computerized adaptive tests. Practical Assessment, Research & Evaluation, 16(1):1–9.

van der Linden, W. J. (1998). Bayesian item selection criteria for adaptive testing. Psychometrika, 63(2):201–216.

Van der Linden, W. J. and Pashley, P. J. (2009). Item selection and ability estimation in adaptive testing. In Elements of adaptive testing, pages 3–30. Springer.

Veerkamp, W. J. J. and Berger, M. P. F. (1997). Some new item selection criteria for adaptive testing. Journal of Educational and Behavioral Statistics, 22(2):203–226.

Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., and Mislevy, R. J. (2000). Computerized adaptive testing: A primer. Routledge.

Wang, C., Chang, H.-H., and Huebner, A. (2011). Restrictive stochastic item selection methods in cognitive diagnostic computerized adaptive testing. Journal of Educational Measurement, 48(3):255–273.

Wong, K., Leung, K., Kwan, R., and Tsang, P. (2010). E-learning: Developing a simple web-based intelligent tutoring system using cognitive diagnostic assessment and adaptive testing technology. In Third International Conference on Hybrid Learning (ICHL), pages 23–34. Springer Berlin Heidelberg.