Reduction of the Number of Items for Proficiency Estimation in Computerized Adaptive Testing Using Kalman Filter

• Rafael M. Albuquerque Federal University of Ceará
• Charles C. Cavalcante Federal University of Ceará
• Jorge H. S. de Lira Federal University of Ceará

DOI: https://doi.org/10.5753/sbie.2022.224802

Abstract

Large-scale assessments are important instruments not only in measuring the quality of education, but also in implementing educational policies. However, despite the latest advances, traditional large-scale assessments still face problems, such as the time required for institutions to receive their feedback and the number of items in the test, which is sometimes exhaustive. To cope with this issues, we propose the implementation of a computerized adaptive test based on the item response theory with the application of a Kalman filter to reduce the number of test items. This makes it possible to reduce about 70% of the required number of items in a test when compared to a traditional test.

Keywords: large-scale assessment, computerized adaptive test, optimization, proficiency estimation, kalman filter

References

Andrade, D. F., Tavares, H. R., & Valle, R. C. (2000). Teoria da Resposta ao Item. Conceitos e Aplicações. Associação Brasileira de Estatística. São Paulo.

Araújo, A. L. S. O., J. S. Santos, M. R. A. Melo, W. L. Andrade, D. D. S. Guerreiro, & J. C. A. de Figueiredo (2020). Teoria de Resposta ao Item (2 ed.). Capítulo 8. Porto Alegre: SBC.

Ayala, R. J. (2009). The Theory & Practice of Item Response Theory. Guilford Press. New York.

Baker, F. B. (1992). Item Response Theory: Parameter Estimation Techniques. Marcel Dekker, Inc. New York.

Barrada, J. R., Olea, J., Ponsoda, V., & Abad, F. J. (2010). A Method for the Comparison of ItemSelection Rules in Computerized Adaptive Testing. Applied Psychological Measurement, 34(6), 438–452.

Couto, G.; Primi, R. (2011). Teoria de resposta ao item (TRI): Conceitos elementares dos modelos para itens dicotômicos. Boletim de Psicologia, São Paulo, v. 61, n. 134, p. 1 – 15.

Esteves, T (2021). Avaliação em Larga Escala. In. Rothen, J. C.; Esteves, T.; Oliveira, I. S. Glossário Brasileiro de Avaliação Educacional.

Fonseca, J. C. G. (2019). Uma Aplicação do Teste Adaptativo Computadorizado via Filtro de Kalman Não-Linear. Mestrado em estatística, Universidade de Brasília.

Jatobá, V. M. G. (2019). Uma Abordagem Personalizada no Processo de Seleção de Itens em Testes Adaptativos Computadorizados. 60 p. Dissertação (Mestrado em Sistemas de Informação). Universidade de São Paulo.

Kalman, R. E. (1960). A New Approach to Linear Filtering and Prediction Problems. Transactionsof the ASME - Journal of Basic Engineering, 82, 35-45.

Min, S. & V. Aryadoust (2021, March). A Systematic Review of Item Response Theory in Language Assessment: Implications for the Dimensionality of Language Ability. Studies in Educational Evaluation 68.

Mislevy, R. J. & Stocking, M. L. (1989). A Consumer's Guide to LOGIST & BILOG. Applied Psychological Measurement, 13, 57-75.

Souza, W. F. de. (2019). Testes Adaptativos Computadorizados Aplicados às Provas do ENEM. 65 p. Monografia (Estatística) — Universidade Federal de Ouro Preto.

Spenassato, D., Trierweiller, A. C., De Andrade, D. F., & Bornia, A. C. (2016). Testes Adaptativos Computadorizados Aplicados em Avaliações Educacionais. Revista Brasileira de Informática na Educação, 24 (2).

Stafford, R. E., Runyon, C. R., Casabianca J. M., & Dodd, B. G. (2018). Comparing Computer Adaptive Testing Stopping Rules Under the Generalized Partial-Credit Model. PsychonomicSociety. Behavior Research Methods, 51, 1305–1320.