Pro-AvaliaJS: Protocol for planning and executing reaction reaction evaluations and learning assessments remote of serious games

• Rháleff N. R. de Oliveira Federal University of ABC http://orcid.org/0000-0001-6983-4896
• Guilherme D. Belarmino Federal University of ABC http://orcid.org/0000-0001-7949-5584
• Felipe S. Minholi Federal University of ABC
• Carla Rodriguez Federal University of ABC https://orcid.org/0000-0002-1522-3130
• Denise Goya Federal University of ABC https://orcid.org/0000-0003-0852-6456
• Rafaela V. Rocha Federal University of ABC https://orcid.org/0000-0003-4573-3016

DOI: https://doi.org/10.5753/sbie.2022.225189

Abstract

Evaluations and assessments in serious games must be planned and executed to ensure their effectiveness. With the COVID-19 pandemic, several activities were carried out remotely, including the evaluation and assessment sessions. This paper aims to describe Pro-AvaliaJS, a protocol for planning and executing reaction evaluations and learning assessments, and to analyze its use in the planning of remote sessions for three different projects. The protocol was proposed based on the AvaliaJS conceptual model. The main results and discussions point out that the protocol can be used to define steps and activities to guide the evaluation team before, during and after the execution of the serious games evaluation.

Keywords: evaluation and assessment, evaluation protocol, serious games

References

Aslan, S. e Balci, O. (2015). GAMED: digital educational game development methodology. Simulation, 9(4), p. 307-319.

Basili, V., Caldiera, G. e Rombach, H. (1994). Goal Question Metric Paradigm. Encyclopedia of Software Engineering, v. 1, John Wiley & Sons, p. 528-532.

Barros, V. R. M., Rocha, R. V. e Goya, D. H. (2021). Implementação da visualização de relatórios para análise do desempenho dos jogadores em jogos sérios do tipo quiz. Workshop Games na Graduação do XX SBGames, p. 1-4.

Braga, J. C. (2015). Objetos de aprendizagem, volume 2: metodologia de desenvolvimento - Santo André : Editora da UFABC.

Ghergulescu, I. e Muntean, C. H. (2012). Measurement and Analysis of Learner's Motivation in Game-Based E-Learning. Ifenthaler D.; Eseryel D.; Ge X. (eds.), Assessment in Game-Based Learning. Springer New York, p. 355-378.

Higuchi, V., Bezerra, D. S., Rocha, R. V. e Goya, D. H. (2021). AlgoBot: jogo sério para o desenvolvimento do pensamento computacional. Anais do Workshop Games na Graduação do XX SBGames, p. 1-4.

Kirkpatrick, D. L. e Kirkpatrick, J. D. (2016). Kirkpatrick's Four Levels of Training Evaluation. ATD Press.

Medeiros, J. F. (2015). Avaliação de Usabilidade e Jogabilidade em Jogos para Dispositivos Móveis: Métodos, Técnicas e Ferramentas. SBGames, p. 1-21.

Melo, A. M., Crespo, Í. M., Medeiros, G. C. e De Oliveira, A. B. (2020). Estratégias Remotas à Avaliação de Interfaces de Usuário. Anais da IV Escola Regional de Engenharia de Software, p. 1-10.

Muller, M. J., Haslwanter, J. H. e Dayton, T. (1997). Participatory Practices in the Software Lifecycle. Handbook of Human-Computer Interaction, Elsevier.

Nielsen, J. (1993). Usability Engineering. Morgan Kaufmann.

Oliveira, W., Joaquim, S. e Isotani, S. (2020). Avaliação de Jogos Educativos: Desafios, Oportunidades e Direcionamentos de Pesquisa. In SBGames, p. 775-778.

Oliveira, R., Belarmino, G., Rodriguez, C., Goya, D., Venero, M. F., Júnior, A. O. e Rocha, R. V. (2019). Avaliações em Jogos Educacionais: instrumentos de avaliação da reação, aprendizagem e comparação de jogo. SBIE, p. 972-981.

Oliveira, R. N. R. e Rocha, R. V. (2021). AvaliaJS: Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios. Anais do X CBIE, p. 101-110.

Oliveira, R. N. R., Rocha, R. V. e Goya, D. H. (2021). Planning the Design and Execution of Student Performance Assessment in Serious Games. Journal on Interactive Systems (JIS), 12(1), p. 172-190.

Pessoa, J. O. e Rocha, R. V. (2021). Projeto Saturno: jogo sério para a motivação e aprendizagem sobre História do Brasil. Anais do Workshop Games na Graduação do XX SBGames, p. 1-4.

Petri,G., vonWangenheim, C.G. e Borgatto, A.F. (2019). MEEGA+: A Model for the Evaluation of Educational Games for Computing Education. RBIE, 27(3), p. 52-81.

Rocha, R. V., Bittencourt, I. I. e Isotan, S. (2015). Avaliação de Jogos Sérios: questionário para autoavaliação e avaliação da reação do aprendiz. XIV SBGames, p. 648-657.

Rocha, R. V (2017). Critérios para a construção de jogos sérios. Anais do XXVIII SBIE, p. 947-956.

Santos, W. S. (2018). Um Modelo de Avaliação para Jogos Digitais Educacionais. Tese (Programa de Pós-Graduação em Modelagem Computacional e Tecnologia Industrial), Centro Universitário SENAI CIMATEC.