Proposal for a Methodology for Assessing Student Learning in Serious Games

• Rháleff Oliveira Federal University of ABC http://orcid.org/0000-0001-6983-4896
• Denise Goya Federal University of ABC https://orcid.org/0000-0003-0852-6456
• Rafaela Rocha Federal University of ABC https://orcid.org/0000-0003-4573-3016

DOI: https://doi.org/10.5753/cbie_estendido.2022.227192

Abstract

Performance assessment, in the context of serious games, is an area with opportunities for research and development. This work presents a proposal for the construction and evaluation of a methodology to assist in the design, execution and analysis of student performance assessment and to provide a systematic way of evaluating the effectiveness of serious games, integrated into the production cycle of a game. This is an ongoing research, of an applied nature, with initial results that include a pilot study and an initial version of the methodology. It is expected to collaborate with the area of Informatics in Education by systematizing the construction of games in order to provide reliable evidence of learning outcomes.

Keywords: evaluation, serious games, methodology

References

Chaudy, Y; Connolly, T. (2019). Specification and evaluation of an assessment engine for educational games: integrating learning analytics and providing an assessment authoring tool. Entertainment Comput., v. 30, p. 1-16.

Dermeval, D.; Coelho, J. A. P. M.; Bittencourt, I. I. (2020). Mapeamento Sistemático e Revisão Sistemática da Literatura em Informática na Educação. Jaques, P. et al. (Org.) Metodologia de Pesquisa Científica em Informática na Educação: abordagem quantitativa. Porto Alegre: SBC, p. 1-26.

Emmerich, K.; Bockholt, M. (2016). Serious Games Evaluation: processes, models, and concepts. Dörner, R. et al. (eds.), Entert. Comp. and Serious Games. LNCS, v. 9970, p. 265-283. Cham: Springer.

Emmerich, K.; et al. (2016). Operationalization and Measurement of Evaluation Constructs. Dörner R. et al. (eds.), Entert. Comp. and Serious Games. LNCS, v. 9970, p. 306-331. Cham: Springer.

Gil, A. C. (1991). Como elaborar projetos de pesquisa. 3 ed. São Paulo: Atlas, 192 p.

Ghergulescu, I.; Muntean, C. H. (2012). Measurement and Analysis of Learner's Motivation in Game-Based E-Learning. Ifenthaler D.; Eseryel D.; Ge X. (eds.), Assessment in Game-Based Learning. New York: Springer, p. 355-378.

Melo, D., et al. (2020a). Uma estratégia de game learning analytics para avaliar level design em um jogo educacional. Congresso Brasileiro de Informática na Educação (SBIE), p. 622–631.

Melo, A. M., et al. (2020b). Estratégias remotas à avaliação de interfaces de usuário. Escola Regional de Engenharia de Software (ERES), p. 245-254.

Oliveira, R. N. R. et al. (2019). Avaliações em Jogos Educacionais: instrumentos de avaliação da reação, aprendizagem e comparação de jogos. Simpósio Brasileiro de Informática na Educação (SBIE), p. 972-981.

Oliveira, R. N. R.; Rocha, R. V; Goya, D. H. (2021). Planning the Design and Execution of Student Performance Assessment in Serious Games. Journal on Interactive Systems (JIS), v. 12, n. 1, p. 172–190.

Oliveira, R. N. R.; Rocha, R. V. (2021). AvaliaJS: Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios. Congresso Brasileiro de Informática na Educação (CBIE), p. 101-110.

Oliveira, R. N. R.; Belarmino, G. D.; Minholi, F.; Rocha, R. V; Goya, D. H. (2022). Pro-AvaliaJS: Protocolo para planejamento e execução da avaliação da reação e aprendizagem remota de jogos sérios. Simpósio Brasileiro de Informática na Educação(SBIE), p. 1-10.

Oliveira, W.; Joaquim, S.; Isotani, S. (2020). Avaliação de Jogos Educacionais: desafios, oportunidades e direcionamento de pesquisa. Simpósio Brasileiro de Jogos e Entretenimento Digital (SBGames), p. 775-778.

Pérez-Berenguer, D.; Kessler, M.; García-Molina, J. (2020). A Customizable and Incremental Processing Approach for Learning Analytics. IEEE Access, v. 8, p. 36350-36362.

Pereira Junior, H. A.; Menezes, C. S. (2015). Modelo para um framework computacional para avaliação formativa da aprendizagem em jogos digitais. Simpósio Brasileiro de Jogos e Entretenimento Digital (SBGames), p. 819-828.

Petri, G., von Wangenheim, C. G.; Borgatto, A. F. (2019). MEEGA+: a model for the evaluation of educational games for computing education. Revista Brasileira de Informática na Educação (RBIE), v. 27(3), p. 52-81.

Rocha, R. V. (2014). Metodologia iterativa e modelos integradores para desenvolvimento de jogos sérios de treinamento e avaliação de desempenho humano. Tese (Doutorado em Ciência da Computação) - UFSCar.

Rocha, R. V. (2017). Critérios para a construção de jogos sérios. Simpósio Brasileiro de Informática na Educação (SBIE), p. 947-956.

Rocha, R. V. et al. (2017). AIMED: Agile, Integrative and Open Method for Open Educational Resources Development. IEEE International Conference on Advanced Learning Technologies (ICALT), p. 163-167.

Salas, E. et al. (2009). Performance measurement in simulation-based training: a review and best practices. Simulation & Gaming, v. 40, p. 328–376.

Santos, W. S. (2018). Um Modelo de Avaliação para Jogos Digitais Educacionais” Tese (Doutorado em MCTI) - SENAI CIMATEC.

Slussareff, M. et al. (2016). Games for Learning. Dörner, R. et al. (Eds.), Entert. Computing and Serious Games, LNCS, v. 9970, p. 189–211. Cham: Springer.