Evaluation of Educational Software for Teaching and Learning Introductory Programming Concepts: A Systematic Literature Review

• Rayssa M. S. Santana State University of Western Paraná
• Claudia B. Rizzi State University of Western Paraná
• Clodis Boscarioli State University of Western Paraná https://orcid.org/0000-0002-7110-2026

DOI: https://doi.org/10.5753/sbie.2024.242438

Abstract

Educational software aimed at introductory programming concepts primarily serves to support the teaching and learning process. As evaluation is an important phase in its development, this paper presents a systematic review of the literature on the evaluation of educational software for teaching algorithms in Brazil, covering the period from 2014 to 2024. The analysis included the main journals and proceedings in Informatics in Education and resulted in 27 selected articles. Ease of use was evaluated as the most important technical aspect and effectiveness in learning as the most important pedagogical aspect, with surveys being the predominant method of data collection.

Keywords: Teaching programming, Computational thinking, Computer Education, Educational software

References

Barbosa, Eduardo F. Instrumentos de Coleta de Dados em Projetos Educacionais. 1998. Disponível em: [link]. Acesso em 23 jun. 24.

Bittencourt, I. I.; Isotani, S. Informática na Educação baseada em Evidências: Um Manifesto. Revista Brasileira de Informática na Educação, v. 26, n. 3, p. 108-119, 2018. Disponível em: [link]. Acesso em: 14 ago. 2024.

Bradley, M. M.; Lang, P. J. Measuring emotion: the self-assessment manikin and the semantic differential. Journal of behavior therapy and experimental psychiatry, v.25, n. 1, p. 49-59. 1994.

Brasil. Lei n. 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Disponível em: [link]. Acesso em: 30 maio 2024.

Brasil. Ministério da Educação. Base Nacional Comum Curricular. Brasília, 2018. Acesso em 02 set. 2023. Disponível em: [link]. Acesso em: 19 jun. 24.

Brasil. Ministério da Educação. Conselho Nacional de Educação. Normas sobre Computação na Educação Básica – Complemento à BNCC. Processo Nº 23001.001050/2019-18. Disponível em: [link]. Acesso em: 25 jun. 24.

Fotaris, P.; Mastoras, T.; Leinfellner, R.; Rosunally, Y. Climbing up the leaderboard: na empirical study of applying Gamification techniques to a computer programming class. Electronic Journal of e-Learning, v. 14, p. 94-110. 2016.

Giraffa, L. M.; Mora, M. C. Evasão na disciplina de algoritmo e programação: um estudo a partir dos fatores intervenientes na perspectiva do aluno. In: III CONFERÊNCIA SOBRE O ABANDONO NA EDUCAÇÃO SUPERIOR, 2013, Cidade do México. Universidad Nacional Autónoma de México, 2013.

Gladcheff, A. P.; Sanches, R.; Silva, D. M. Um instrumento de avaliação de qualidade de software educacional: como elaborá-lo. Pensamento Realidade. Revista do Programa de Estudos Pós-graduados em Administração-FEA, v. 11, p. 4-5, 2002. Disponível em: [link]. Acesso em: 28 maio 2024.

Iso/Iec. Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. ISO/IEC 25010:2011, 2011.

Juca, S. C. A relevância dos softwares educativos na educação profissional. Ciência cognitiva, Rio de Janeiro, v. 8, p. 22-28, ago. 2006. Disponível em: [link]. Acesso em: 29 maio 2024.

Kitchenham, B.; Charters, S. Guidelines for performing systematic literature reviews in software engineering. EBSE Technical Report EBSE-2007-01. Keele University and Durham University Joint Report, 2007. Disponível em: [link]. Acesso em: 28 maio 2024.

Melo, A. B. Software educativo Desmos: possibilidades e limites no ensino de funções no fundamental II. João Pessoa, PB, 2021.

Morais, R. X. T. (2003). Software educacional: a importância de sua avaliação e do seu uso nas salas de aula. Monografia, Faculdade Lourenço Filho.

Padrini-Andrade, L.; Balda, R. D.; Areco, K. C.; Bandiera-Paiva, P.; Nunes, M. D.; Marba, S. T.; Bomfim, O. Avaliação da usabilidade de um sistema de informação em saúde neonatal segundo a percepção do usuário. 2018. Revista Paulista de Pediatria, 37, 90-96.

Petri, G.; Gresse Von Wangenheim, C.; Borgatto, A. F. MEEGA+, Systematic Model to Evaluate Educational Games. In: LEE, N. (ed.). Encyclopedia of Computer Graphics and Games. Springer, 2018. Relvas, E. Um instrumento de Avaliação para Produto de Software Educacional de Química. Marília, SP, 2005.

Salas, J. A. et al.. Guidelines to evaluate the usability and user experience of learning support platforms: a systematic review. Communications in Computer and Information Science, 2019.

Smith, C.; Mayes, T. Telematics Applications for Education and Training: Usability Guide. Comission of the European Communities, DGXIII Project, 1996.

Vieira, F. M. S. Avaliação de software educativo: reflexões para uma análise criteriosa. Educação Pública, 2005. Disponível em: [link]. Acesso em: 29 maio 2024.

Webber, C.; Boff, E.; Bono, F. Ferramenta Especialista para avaliação de Software Educacional. In: XX SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO, 20., 2009, Caxias do Sul. Disponível em: [link]. Acesso em: 28 maio 2024.

Zainuddin, Zamzami; Chu, S.; Shujahat, Muhammad; Perera, C. J. The impact of gamification on learning and instruction: A systematic review of empirical evidence. Educational Research Review, 2020. DOI: 10.1016/j.edurev.2020.100326.