Transformando evidências da TRI em feedback formativo com LLMs: um estudo com microdados do ENEM
Resumo
Este artigo propõe um método para a geração de feedback formativo inteligente em avaliações educacionais de múltipla escolha, com o objetivo de transformar resultados avaliativos em orientações personalizadas de estudo e em subsídios para a tomada de decisão pedagógica. Como estudo de caso, são utilizados os microdados do ENEM 2022, a partir de um pipeline baseado na Teoria da Resposta ao Item (TRI) e no Modelo Logístico de Três Parâmetros (ML3), capaz de estimar habilidades dos estudantes, parâmetros dos itens e padrões como lacunas de aprendizagem, acertos improváveis, erros improváveis e competências prioritárias para revisão. Essas evidências são estruturadas e fornecidas a um LLM, por meio de prompts orientados pedagogicamente, para gerar sínteses personalizadas, explicações sobre dificuldades, orientações de melhoria e recomendações de recursos de aprendizagem. A principal contribuição do trabalho está na integração entre diagnóstico automatizado e geração inteligente de feedback e recomendações, ampliando o papel da avaliação educacional no apoio à autorregulação discente e a intervenções docentes mais direcionadas.
Palavras-chave:
Teoria da Resposta ao Item, Feedback formativo, Modelos de Linguagem de Grande Escala
Referências
Andrade, D. F. d., Tavares, H. R., e Valle, R. d. C. (2000). Teoria da Resposta ao Item: conceitos e aplicações. Associação Brasileira de Estatística, São Paulo.
Attali, Y., Laitusis, C. C., e Stone, E. (2016). Differences in reaction to immediate feedback and opportunity to revise answers for multiple-choice and open-ended questions. Educational and Psychological Measurement, 76(5):787–802.
Baas, T. et al. (2022). The role of automated feedback in supporting student learning: A systematic review. Educational Research Review.
Baker, F. B. e Kim, S.-H. (2017). The Basics of Item Response Theory Using R. Springer, New York, NY.
Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee's ability. In Lord, F. M. e Novick, M. R., editors, Statistical Theories of Mental Test Scores, pages 397–479. Addison-Wesley, Reading, MA.
Carless, D. (2017). Students' experiences of assessment for learning. In Carless, D., Bridges, S. M., Chan, C. K. Y., e Glofcheski, R., editors, Scaling up Assessment for Learning in Higher Education, The Enabling Power of Assessment, pages 113–126. Springer Singapore, Singapore.
Carless, D. e Boud, D. (2018). The development of student feedback literacy: Enabling uptake of feedback. Assessment & Evaluation in Higher Education, 43(8):1315–1325.
Fujii, T. R. C., Souza, A. D. P. d., Fürkotter, M., Borgatto, A. F., e Cúri, M. (2021). Estudo sobre construção de escalas com base na teoria da resposta ao item: Avaliação de proficiência em conteúdos matemáticos básicos. Bolema: Boletim de Educação Matemática, 35(71):1876–1898.
Guo, S., Latif, E., Zhou, Y., Huang, X., e Zhai, X. (2024). Using generative ai and multi-agents to provide automatic feedback.
INEP (2022). Índice de desenvolvimento da educação básica (ideb) 2021: Resultados e informações. Technical report, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.
INEP (2025). Enem 2025 tem mais de 4,8 milhões de inscritos confirmados. Ministério da Educação. Disponível em: [link].
Juniwal, G. (2014). Cpsgrader: Auto-grading and feedback generation for cyber-physical systems education. Master's thesis, University of California, Berkeley. Technical Report No. UCB/EECS-2014-237.
Kaliisa, R., Misiejuk, K., López-Pernas, S., Khalil, M., e Saqr, M. (2024). Learning analytics dashboards are increasingly becoming about learning and not just analytics — a systematic review. Education and Information Technologies, 29:14279–14308.
Köhler, C. e Hartig, J. (2021). Practical significance of item misfit and its manifestations in constructs assessed in large-scale studies. Frontiers in Psychology, 12.
Lord, F. M. (1952). A Theory of Test Scores. Number 7 in Psychometric Monograph. Psychometric Corporation, Richmond, VA.
Ma, L. et al. (2025). Llm-based course recommendation in moocs.
Monteiro, E. J. L. B. e Barreto, R. S. (2022). Um método baseado na teoria da resposta ao item para avaliação e feedback automático no contexto do enem. In Anais do XXXIII Simpósio Brasileiro de Informática na Educação (SBIE 2022), pages 225–236, Porto Alegre, RS, Brasil. SBC.
Monteiro, E. J. L. B. e Leitão, G. S. (2021). Um método baseado na teoria da resposta ao item para avaliação e feedback automático no contexto de educação digital. Revista Brasileira de Informática na Educação (RBIE), 29:1006–1031.
Nielsen, J. (1994). Usability Engineering. Morgan Kaufmann, San Francisco.
Rauber, M. F., von Wangenheim, C. G., et al. (2024). Proposta de escala para avaliação da aprendizagem de machine learning em nível create na educação básica. In Anais do XXXV Simpósio Brasileiro de Informática na Educação (SBIE 2024), Porto Alegre, RS, Brasil. SBC.
Romero, O. O., Machado, G. M., e Wives, L. K. (2019). Analysis of questionnaires for virtual learning environments based on item response theory. In Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019), pages 509–518, Porto Alegre, RS, Brasil. Sociedade Brasileira de Computação.
Rosa, B. A., Oliveira, H., e Mello, R. F. (2024). Combinação de modelos de aprendizado de máquina utilizando teoria de resposta ao item para avaliação de coesão textual em redações no contexto do enem. In Anais do XXXV Simpósio Brasileiro de Informática na Educação (SBIE 2024), Porto Alegre, RS, Brasil. SBC.
Sahin, M. e Ifenthaler, D. (2023). A checklist to guide the planning, designing, implementation, and evaluation of learning analytics dashboards. International Journal of Educational Technology in Higher Education, 20(28).
Santos, L. (2016). A articulação entre a avaliação somativa e a formativa, na prática pedagógica: uma impossibilidade ou um desafio? Ensaio: Avaliação e Políticas Públicas em Educação, 24(92):637–669.
Shneiderman, B. (1996). The eyes have it: A task by data type taxonomy for information visualizations. In Proceedings of the 1996 IEEE Symposium on Visual Languages, pages 336–343. IEEE Computer Society.
Silva, F. G. e Aranha, E. H. S. (2024). Feedback formativo automatizado com llms: Desenvolvimento e análise de um sistema para aprendizagem progressiva em programação. In Anais do XXXV Simpósio Brasileiro de Informática na Educação (SBIE 2024), Porto Alegre, RS, Brasil. SBC.
Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2):257–285.
van der Kleij, F. M., Feskens, R. C. W., e Eggen, T. J. H. M. (2015). Effects of feedback in a computer-based learning environment on students' learning outcomes: A meta-analysis. Review of Educational Research, 85(4):475–511.
Attali, Y., Laitusis, C. C., e Stone, E. (2016). Differences in reaction to immediate feedback and opportunity to revise answers for multiple-choice and open-ended questions. Educational and Psychological Measurement, 76(5):787–802.
Baas, T. et al. (2022). The role of automated feedback in supporting student learning: A systematic review. Educational Research Review.
Baker, F. B. e Kim, S.-H. (2017). The Basics of Item Response Theory Using R. Springer, New York, NY.
Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee's ability. In Lord, F. M. e Novick, M. R., editors, Statistical Theories of Mental Test Scores, pages 397–479. Addison-Wesley, Reading, MA.
Carless, D. (2017). Students' experiences of assessment for learning. In Carless, D., Bridges, S. M., Chan, C. K. Y., e Glofcheski, R., editors, Scaling up Assessment for Learning in Higher Education, The Enabling Power of Assessment, pages 113–126. Springer Singapore, Singapore.
Carless, D. e Boud, D. (2018). The development of student feedback literacy: Enabling uptake of feedback. Assessment & Evaluation in Higher Education, 43(8):1315–1325.
Fujii, T. R. C., Souza, A. D. P. d., Fürkotter, M., Borgatto, A. F., e Cúri, M. (2021). Estudo sobre construção de escalas com base na teoria da resposta ao item: Avaliação de proficiência em conteúdos matemáticos básicos. Bolema: Boletim de Educação Matemática, 35(71):1876–1898.
Guo, S., Latif, E., Zhou, Y., Huang, X., e Zhai, X. (2024). Using generative ai and multi-agents to provide automatic feedback.
INEP (2022). Índice de desenvolvimento da educação básica (ideb) 2021: Resultados e informações. Technical report, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.
INEP (2025). Enem 2025 tem mais de 4,8 milhões de inscritos confirmados. Ministério da Educação. Disponível em: [link].
Juniwal, G. (2014). Cpsgrader: Auto-grading and feedback generation for cyber-physical systems education. Master's thesis, University of California, Berkeley. Technical Report No. UCB/EECS-2014-237.
Kaliisa, R., Misiejuk, K., López-Pernas, S., Khalil, M., e Saqr, M. (2024). Learning analytics dashboards are increasingly becoming about learning and not just analytics — a systematic review. Education and Information Technologies, 29:14279–14308.
Köhler, C. e Hartig, J. (2021). Practical significance of item misfit and its manifestations in constructs assessed in large-scale studies. Frontiers in Psychology, 12.
Lord, F. M. (1952). A Theory of Test Scores. Number 7 in Psychometric Monograph. Psychometric Corporation, Richmond, VA.
Ma, L. et al. (2025). Llm-based course recommendation in moocs.
Monteiro, E. J. L. B. e Barreto, R. S. (2022). Um método baseado na teoria da resposta ao item para avaliação e feedback automático no contexto do enem. In Anais do XXXIII Simpósio Brasileiro de Informática na Educação (SBIE 2022), pages 225–236, Porto Alegre, RS, Brasil. SBC.
Monteiro, E. J. L. B. e Leitão, G. S. (2021). Um método baseado na teoria da resposta ao item para avaliação e feedback automático no contexto de educação digital. Revista Brasileira de Informática na Educação (RBIE), 29:1006–1031.
Nielsen, J. (1994). Usability Engineering. Morgan Kaufmann, San Francisco.
Rauber, M. F., von Wangenheim, C. G., et al. (2024). Proposta de escala para avaliação da aprendizagem de machine learning em nível create na educação básica. In Anais do XXXV Simpósio Brasileiro de Informática na Educação (SBIE 2024), Porto Alegre, RS, Brasil. SBC.
Romero, O. O., Machado, G. M., e Wives, L. K. (2019). Analysis of questionnaires for virtual learning environments based on item response theory. In Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019), pages 509–518, Porto Alegre, RS, Brasil. Sociedade Brasileira de Computação.
Rosa, B. A., Oliveira, H., e Mello, R. F. (2024). Combinação de modelos de aprendizado de máquina utilizando teoria de resposta ao item para avaliação de coesão textual em redações no contexto do enem. In Anais do XXXV Simpósio Brasileiro de Informática na Educação (SBIE 2024), Porto Alegre, RS, Brasil. SBC.
Sahin, M. e Ifenthaler, D. (2023). A checklist to guide the planning, designing, implementation, and evaluation of learning analytics dashboards. International Journal of Educational Technology in Higher Education, 20(28).
Santos, L. (2016). A articulação entre a avaliação somativa e a formativa, na prática pedagógica: uma impossibilidade ou um desafio? Ensaio: Avaliação e Políticas Públicas em Educação, 24(92):637–669.
Shneiderman, B. (1996). The eyes have it: A task by data type taxonomy for information visualizations. In Proceedings of the 1996 IEEE Symposium on Visual Languages, pages 336–343. IEEE Computer Society.
Silva, F. G. e Aranha, E. H. S. (2024). Feedback formativo automatizado com llms: Desenvolvimento e análise de um sistema para aprendizagem progressiva em programação. In Anais do XXXV Simpósio Brasileiro de Informática na Educação (SBIE 2024), Porto Alegre, RS, Brasil. SBC.
Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2):257–285.
van der Kleij, F. M., Feskens, R. C. W., e Eggen, T. J. H. M. (2015). Effects of feedback in a computer-based learning environment on students' learning outcomes: A meta-analysis. Review of Educational Research, 85(4):475–511.
Publicado
05/10/2026
Como Citar
LIRA, Marcelo; MONTEIRO, Edwin; LEITÃO, Gabriel de Souza; DE OLIVEIRA, Horácio Fernandes; BARRETO, Raimundo da Silva.
Transformando evidências da TRI em feedback formativo com LLMs: um estudo com microdados do ENEM. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 37. , 2026, Goiânia/GO.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2026
.
p. 971-986.
DOI: https://doi.org/10.5753/sbie.2026.27430.
