Abordagem com LLM para Geração Automatizada de Feedback no Ensino de Programação de Computadores
Resumo
A aprendizagem de programação, especialmente em disciplinas introdutórias, costuma apresentar altos índices de reprovação. Ferramentas como Juízes online, integrados a ambientes virtuais, oferecem correção automática de exercícios, mas o feedback fornecido geralmente se limita a mensagens de erro ou resultados de testes, que são pouco eficazes para promover a aprendizagem. Este artigo propõe uma abordagem com Modelos de Linguagem de Grande Escala (LLMs) para gerar feedback mais detalhado e pedagógico com base nas soluções dos estudantes. Apresentamos resultados de experimentos realizados em um curso de Introdução à Programação, evidenciando o potencial dos LLMs para apoiar o processo de ensino e aprendizagem.
Referências
BOSSE, Y. Padrões de dificuldades relacionadas com o aprendizado de programação. Tese (Doutorado) — Universidade de São Paulo, 2020.
CAMPOS, D. S. de; FERREIRA, D. J. Feedback no ensino de lógica de programação com o auxílio de ferramentas para apoiar o ensino e a aprendizagem: Uma abordagem empírica. In: SBC. Anais do V Congresso sobre Tecnologias na Educação. [S.l.], 2020. p. 346–355.
DERMEVAL, D.; COELHO, J. A. d. M.; BITTENCOURT, I. I. Mapeamento sistemático e revisão sistemática da literatura em informática na educação. JAQUES, Patrícia Augustin; SIQUEIRA; Sean; BITTENCOURT, Ig; PIMENTEL, Mariano.(Org.) Metodologia de Pesquisa Científica em Informática na Educação: Abordagem Quantitativa. Porto Alegre: SBC, 2020.
DEUS, W. S. de et al. Avaliando resoluções de exercícios introdutórios de programação na era das ias generativas: Um estudo de caso com o chatgpt. In: SBC. Simpósio Brasileiro de Informática na Educação (SBIE). [S.l.], 2024. p. 1645–1657.
ESTÉVEZ-AYRES, I. et al. Evaluation of llm tools for feedback generation in a course on concurrent programming. International Journal of Artificial Intelligence in Education, Springer, p. 1–17, 2024.
FRANTAR, E. et al. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. 2023. Disponível em: [link].
GABBAY, H.; COHEN, A. Combining llm-generated and test-based feedback in a mooc for programming. In: Proceedings of the Eleventh ACM Conference on Learning@ Scale. [S.l.: s.n.], 2024. p. 177–187.
HANKE, V. et al. Open LLMs are necessary for private adaptations and outperform their closed alternatives. In: ICML 2024 Next Generation of AI Safety Workshop. [s.n.], 2024. Disponível em: [link].
LILJEDAHL, J. Development and Evaluation of an AI-Powered Virtual Coach for an E-Health Tool for Fall Prevention : Open-Source vs Closed-Source LLMs in E-Health Applications. 2024. 58 p. (UPTEC IT, 24045).
LIU, F.; KANG, Z.; HAN, X. Optimizing RAG Techniques for Automotive Industry PDF Chatbots: A Case Study with Locally Deployed Ollama Models. 2024. Disponível em: [link].
MCBROOM, J.; KOPRINSKA, I.; YACEF, K. A survey of automated programming hint generation: The hints framework. ACM Computing Surveys (CSUR), ACM New York, NY, v. 54, n. 8, p. 1–27, 2021.
MESKÓ, B. Prompt engineering as an important emerging skill for medical professionals: tutorial. Journal of medical Internet research, JMIR Publications Toronto, Canada, v. 25, p. e50638, 2023.
MESSER, M. et al. Automated grading and feedback tools for programming education: A systematic review. ACM Transactions on Computing Education, ACM New York, NY, v. 24, n. 1, p. 1–43, 2024.
MOHAN, G. B. et al. An analysis of large language models: their impact and potential applications. Knowledge and Information Systems, Springer, p. 1–24, 2024.
NAVEED, H. et al. A comprehensive overview of large language models. arXiv preprint arXiv:2307.06435, 2023.
OPENAI et al. GPT-4 Technical Report. 2024. Disponível em: [link].
PANKIEWICZ, M.; BAKER, R. S. Large language models (gpt) for automating feedback on programming assignments. arXiv preprint arXiv:2307.00150, 2023.
PETRUZZELLIS, F.; TESTOLIN, A.; SPERDUTI, A. Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models. 2024. Disponível em: [link].
SILVA, Â. G. L. d. Uma ferramenta para correção de erros sintáticos usando aprendizado de máquina para programação introdutória [trabalho de conclusão de curso]. Universidade Federal Rural do Semi-Árido, 2020.
TAJIK, E. et al. A comprehensive examination of the potential application of chat gpt in higher education institutions. 2024. Disponível em: [link].
VASWANI, A. et al. Attention is all you need. Advances in neural information processing systems, v. 30, 2017.
ZHANG, L. et al. Dual Grained Quantization: Efficient Fine-Grained Quantization for LLM. 2023. Disponível em: [link].
CAMPOS, D. S. de; FERREIRA, D. J. Feedback no ensino de lógica de programação com o auxílio de ferramentas para apoiar o ensino e a aprendizagem: Uma abordagem empírica. In: SBC. Anais do V Congresso sobre Tecnologias na Educação. [S.l.], 2020. p. 346–355.
DERMEVAL, D.; COELHO, J. A. d. M.; BITTENCOURT, I. I. Mapeamento sistemático e revisão sistemática da literatura em informática na educação. JAQUES, Patrícia Augustin; SIQUEIRA; Sean; BITTENCOURT, Ig; PIMENTEL, Mariano.(Org.) Metodologia de Pesquisa Científica em Informática na Educação: Abordagem Quantitativa. Porto Alegre: SBC, 2020.
DEUS, W. S. de et al. Avaliando resoluções de exercícios introdutórios de programação na era das ias generativas: Um estudo de caso com o chatgpt. In: SBC. Simpósio Brasileiro de Informática na Educação (SBIE). [S.l.], 2024. p. 1645–1657.
ESTÉVEZ-AYRES, I. et al. Evaluation of llm tools for feedback generation in a course on concurrent programming. International Journal of Artificial Intelligence in Education, Springer, p. 1–17, 2024.
FRANTAR, E. et al. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. 2023. Disponível em: [link].
GABBAY, H.; COHEN, A. Combining llm-generated and test-based feedback in a mooc for programming. In: Proceedings of the Eleventh ACM Conference on Learning@ Scale. [S.l.: s.n.], 2024. p. 177–187.
HANKE, V. et al. Open LLMs are necessary for private adaptations and outperform their closed alternatives. In: ICML 2024 Next Generation of AI Safety Workshop. [s.n.], 2024. Disponível em: [link].
LILJEDAHL, J. Development and Evaluation of an AI-Powered Virtual Coach for an E-Health Tool for Fall Prevention : Open-Source vs Closed-Source LLMs in E-Health Applications. 2024. 58 p. (UPTEC IT, 24045).
LIU, F.; KANG, Z.; HAN, X. Optimizing RAG Techniques for Automotive Industry PDF Chatbots: A Case Study with Locally Deployed Ollama Models. 2024. Disponível em: [link].
MCBROOM, J.; KOPRINSKA, I.; YACEF, K. A survey of automated programming hint generation: The hints framework. ACM Computing Surveys (CSUR), ACM New York, NY, v. 54, n. 8, p. 1–27, 2021.
MESKÓ, B. Prompt engineering as an important emerging skill for medical professionals: tutorial. Journal of medical Internet research, JMIR Publications Toronto, Canada, v. 25, p. e50638, 2023.
MESSER, M. et al. Automated grading and feedback tools for programming education: A systematic review. ACM Transactions on Computing Education, ACM New York, NY, v. 24, n. 1, p. 1–43, 2024.
MOHAN, G. B. et al. An analysis of large language models: their impact and potential applications. Knowledge and Information Systems, Springer, p. 1–24, 2024.
NAVEED, H. et al. A comprehensive overview of large language models. arXiv preprint arXiv:2307.06435, 2023.
OPENAI et al. GPT-4 Technical Report. 2024. Disponível em: [link].
PANKIEWICZ, M.; BAKER, R. S. Large language models (gpt) for automating feedback on programming assignments. arXiv preprint arXiv:2307.00150, 2023.
PETRUZZELLIS, F.; TESTOLIN, A.; SPERDUTI, A. Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models. 2024. Disponível em: [link].
SILVA, Â. G. L. d. Uma ferramenta para correção de erros sintáticos usando aprendizado de máquina para programação introdutória [trabalho de conclusão de curso]. Universidade Federal Rural do Semi-Árido, 2020.
TAJIK, E. et al. A comprehensive examination of the potential application of chat gpt in higher education institutions. 2024. Disponível em: [link].
VASWANI, A. et al. Attention is all you need. Advances in neural information processing systems, v. 30, 2017.
ZHANG, L. et al. Dual Grained Quantization: Efficient Fine-Grained Quantization for LLM. 2023. Disponível em: [link].
Publicado
24/11/2025
Como Citar
PIMENTEL, Edson P.; SILVA, Lucas D. Lima da; TAKEUTI, Rodrigo H.; BRAGA, Juliana C..
Abordagem com LLM para Geração Automatizada de Feedback no Ensino de Programação de Computadores. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 36. , 2025, Curitiba/PR.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 590-602.
DOI: https://doi.org/10.5753/sbie.2025.12543.
