Evaluating the Support of Large Language Models in Programming Education: An Experience Report
Abstract
Large Language Models (LLMs) have established themselves as a promising strategy to support education, especially in challenging contexts such as teaching programming to high school students. This experience report presents a basic programming training initiative conducted with two groups: one with guided access to LLMs and another without such support. The training included in-person activities, homework assignments, and a final project with both theoretical and practical components. Data analysis combined quantitative performance indicators with qualitative perceptions from students and teachers. The results showed that the group with access to LLMs outperformed the other in all stages, demonstrating greater autonomy, technical fluency, and confidence in presenting their solutions. It is concluded that the pedagogical use of LLMs can enhance programming learning, provided it is accompanied by proper instructional guidance from educators.References
Alves, L. (2023). Inteligência artificial e educação: refletindo sobre os desafios contemporâneos. Brasil.
Bommasani, R., Hudson, D. A., Adeli, E., et al. (2021). On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258.
Brown, T. B., Mann, B., Ryder, N., et al. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901.
Costa, R. M., Albuquerque, D. W., Dantas Filho, E., Valadares, D. C., Gomes, A. B., and Perkusich, M. (2023). Atuaçao profissional dos egressos do curso de telemática. In Workshop sobre Educação em Computação (WEI), pages 499–509. SBC.
da Silva, T. L., Vidotto, K. N. S., Tarouco, L. M. R., and da Silva, P. F. (2024a). Inteligência artificial generativa no ensino de programação: um mapeamento sistemático da literatura. Revista Novas Tecnologias na Educação, 22(1):262–272.
da Silva, T. L., Vidotto, K. N. S., Tarouco, L. M. R., and da Silva, P. F. (2024b). Potencialidades do uso de inteligência artificial generativa como apoio ao ensino de programação. In Simpósio Brasileiro de Informática na Educação (SBIE), pages 1942–1956. SBC.
de OCA Rodrigues, G., Albuquerque, D. W., and Jesualdo, G. (2023). Análise de vieses ideológicos em produçoes textuais do assistente de bate-papo chatgpt. In Workshop sobre as Implicações da Computação na Sociedade (WICS), pages 148–155. SBC.
de Sousa, M. K., Albuquerque, D. W., Leal, R. B., Maia, M. C., Gomes, A. B., and Perkusich, M. (2022). Análise dos fatores de evasao dos alunos dos cursos técnicos da área de informática no ifpb campus campina grande. In Workshop sobre Educação em Computação (WEI), pages 369–380. SBC.
Farias, I., Albuquerque, D., Rodrigues, G., Xavier, K. A., da Silva, J. A., et al. (2024). Investigando o uso de ferramentas baseadas em grandes modelos de linguagem no contexto acadêmico. In Workshop sobre Educação em Computação (WEI), pages 489–500. SBC.
Frias, C. et al. (2023). Chatgpt in computer science education: evaluating learning outcomes and student perceptions. Education and Information Technologies.
Jošt, G., Taneski, V., and Karakatič, S. (2024). The impact of large language models on programming education and student learning outcomes. Applied Sciences, 14(10):4115.
Júnior, C. X. P., da Costa, N. T., and da Rocha Seixas, L. (2024). Ia generativa na educaçao: entre a eficiência produtivista e a construçao coletiva do conhecimento. In Workshop Uma Tarde na Urca: Encontro Filosófico sobre Informática na Educação (URCA), pages 17–21. SBC.
Kvalsund, M. and Liisberg, H. G. (2024). Coding with ai: Utilizing large language models for enhanced educational tools in programming education. Master’s thesis, NTNU.
Lima, M. A. d. S. O., dos Santos, R. G., and de Paoli Leporace, C. (2024). Desafios e aplicabilidades da ia generativa na educação: Caminhos para a ética e a transparência. In Conferência Latino-Americana de Ética em Inteligência Artificial, pages 141–144. SBC.
Lund, B. D., Wang, T., and Mannuru, R. (2023). Chatgpt in higher education: a scoping review of challenges and opportunities. TechTrends.
Ma, Q., Shen, H., Koedinger, K., and Wu, S. T. (2024). How to teach programming in the ai era? using llms as a teachable agent for debugging. In International Conference on Artificial Intelligence in Education, pages 265–279. Springer.
Moore, S., Tong, R., Singh, A., Liu, Z., Hu, X., Lu, Y., Liang, J., Cao, C., Khosravi, H., Denny, P., et al. (2023). Empowering education with llms-the next-gen interface and content generation. In International Conference on Artificial Intelligence in Education, pages 32–37. Springer.
Sarica, S. et al. (2023). Thoughts on large language models for computer science education. In Proceedings of the AAAI Conference on Artificial Intelligence.
Sobania, D. et al. (2023). Analysis of chatgpt for software engineering education. In Proceedings of the 2023 ACM Conference on Innovation and Technology in Computer Science Education.
Bommasani, R., Hudson, D. A., Adeli, E., et al. (2021). On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258.
Brown, T. B., Mann, B., Ryder, N., et al. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901.
Costa, R. M., Albuquerque, D. W., Dantas Filho, E., Valadares, D. C., Gomes, A. B., and Perkusich, M. (2023). Atuaçao profissional dos egressos do curso de telemática. In Workshop sobre Educação em Computação (WEI), pages 499–509. SBC.
da Silva, T. L., Vidotto, K. N. S., Tarouco, L. M. R., and da Silva, P. F. (2024a). Inteligência artificial generativa no ensino de programação: um mapeamento sistemático da literatura. Revista Novas Tecnologias na Educação, 22(1):262–272.
da Silva, T. L., Vidotto, K. N. S., Tarouco, L. M. R., and da Silva, P. F. (2024b). Potencialidades do uso de inteligência artificial generativa como apoio ao ensino de programação. In Simpósio Brasileiro de Informática na Educação (SBIE), pages 1942–1956. SBC.
de OCA Rodrigues, G., Albuquerque, D. W., and Jesualdo, G. (2023). Análise de vieses ideológicos em produçoes textuais do assistente de bate-papo chatgpt. In Workshop sobre as Implicações da Computação na Sociedade (WICS), pages 148–155. SBC.
de Sousa, M. K., Albuquerque, D. W., Leal, R. B., Maia, M. C., Gomes, A. B., and Perkusich, M. (2022). Análise dos fatores de evasao dos alunos dos cursos técnicos da área de informática no ifpb campus campina grande. In Workshop sobre Educação em Computação (WEI), pages 369–380. SBC.
Farias, I., Albuquerque, D., Rodrigues, G., Xavier, K. A., da Silva, J. A., et al. (2024). Investigando o uso de ferramentas baseadas em grandes modelos de linguagem no contexto acadêmico. In Workshop sobre Educação em Computação (WEI), pages 489–500. SBC.
Frias, C. et al. (2023). Chatgpt in computer science education: evaluating learning outcomes and student perceptions. Education and Information Technologies.
Jošt, G., Taneski, V., and Karakatič, S. (2024). The impact of large language models on programming education and student learning outcomes. Applied Sciences, 14(10):4115.
Júnior, C. X. P., da Costa, N. T., and da Rocha Seixas, L. (2024). Ia generativa na educaçao: entre a eficiência produtivista e a construçao coletiva do conhecimento. In Workshop Uma Tarde na Urca: Encontro Filosófico sobre Informática na Educação (URCA), pages 17–21. SBC.
Kvalsund, M. and Liisberg, H. G. (2024). Coding with ai: Utilizing large language models for enhanced educational tools in programming education. Master’s thesis, NTNU.
Lima, M. A. d. S. O., dos Santos, R. G., and de Paoli Leporace, C. (2024). Desafios e aplicabilidades da ia generativa na educação: Caminhos para a ética e a transparência. In Conferência Latino-Americana de Ética em Inteligência Artificial, pages 141–144. SBC.
Lund, B. D., Wang, T., and Mannuru, R. (2023). Chatgpt in higher education: a scoping review of challenges and opportunities. TechTrends.
Ma, Q., Shen, H., Koedinger, K., and Wu, S. T. (2024). How to teach programming in the ai era? using llms as a teachable agent for debugging. In International Conference on Artificial Intelligence in Education, pages 265–279. Springer.
Moore, S., Tong, R., Singh, A., Liu, Z., Hu, X., Lu, Y., Liang, J., Cao, C., Khosravi, H., Denny, P., et al. (2023). Empowering education with llms-the next-gen interface and content generation. In International Conference on Artificial Intelligence in Education, pages 32–37. Springer.
Sarica, S. et al. (2023). Thoughts on large language models for computer science education. In Proceedings of the AAAI Conference on Artificial Intelligence.
Sobania, D. et al. (2023). Analysis of chatgpt for software engineering education. In Proceedings of the 2023 ACM Conference on Innovation and Technology in Computer Science Education.
Published
2025-07-20
How to Cite
PAIVA, João; VIRGINIO, Jhonnata; ALBUQUERQUE, Danyllo; RODRIGUES, Golbery; SOUSA, Ianna.
Evaluating the Support of Large Language Models in Programming Education: An Experience Report. In: WORKSHOP ON COMPUTING EDUCATION (WEI), 33. , 2025, Maceió/AL.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 982-993.
ISSN 2595-6175.
DOI: https://doi.org/10.5753/wei.2025.8709.
