AvaliaJS: Student Performance Evaluation Planning in Serious Games
Abstract
Serious Games (SG) should be designed with a focus not just on reaction but on evaluating student performance, which has been neglected. This work aims to develop and evaluate AvaliaJS, a conceptual model (which has two artifacts: canvas model and project document) to structure, guide and support the planning of the conception and execution of the evaluation. The artifacts were applied to three ready-made games as a proof of concept, and the quality of the model was evaluated by six experts in SGs development and evaluation/assessment, using a questionnaire. The results show that the model can be used to support teams in planning, documentation and development of artifacts, data collection and execution of the evaluation and assessment.
Keywords:
Serious Games, Performance, Evaluation
References
Abt, C. C. (1987). "Serious Games". Lanham. MD: University Press of America.
Aslan, S.; Balci, O. (2015). GAMED: digital educational game development methodology. In "Simulation", v. 9(4), p. 307-319.
Basili, V.; Caldiera, G.; Rombach, H. (1994). "Goal Question Metric Paradigm". Encyclopedia of Software Engineering, v. 1, John Wiley & Sons, p. 528-532.
Beecham, S.; Hall, T.; Britton, C.; Cottee, M.;Rainer, A. (2005). "Using an Expert Panel to Validate a Requirements Process Improvement Model". The J. Syst. Soft. v. 76.
Bellotti, F.; Kapralos, B.; Lee, K.; Moreno-ger, P.; Berta, R. (2013). "Assessment in and of serious games: an overview". Advances in Hu.-Comp. Inter., v. 2013, p. 1–11.
Chaudy, Y; Connolly, T. (2019). "Specification and evaluation of an assessment engine for educational games: Integrating learning analytics and providing an assessment authoring tool". In: Entertainment Comput., v. 30, p. 1-16.
Coelho, J.A.P.M.; Souza, G.H.S.; Albuquerque, J. (2020). Desenvolvimento de questionários e aplicação na pesquisa em Informática na Educação. Jaques, P. A. et al., (Org.) "Metodologia de Pesquisa Científica em Informática na Educação: Abordagem Quantitativa". Porto Alegre, RS: SBC.
Cronbach, L. J. (1951). "Coefficient alpha and the internal structure of tests". Psychometrika, v. 16(3), p. 297–334.
Daoudi, I.; et al. (2017). "Learners' Assessment and Evaluation in Serious Games: Approaches and Techniques Review". ISCRAM-med, Xanthi, Greece.
Emmerich,K.; Bockholt,M. (2016). "Serious Games Evaluation: Processes, Models, and Concepts". Entert. Comp. and Serious Games. Springer, Cham, v. 9970, p. 265-283.
Falchikov, N. (2005). "Improving Assessment Through Student Involvement: Practical Solutions For Aiding Learning In Higher And Further Education". RoutledgeFalmer.
GIL, A. C. (1991). "Como elaborar projetos de pesquisa". 3 ed. SP: Atlas, p. 1-192.
Hattie, J.; Timperley, H. (2007). "The power of feedback". Review of Educational Research, v. 77(1), p. 81‐112.
Kirkpatrick, J. D.; Kirkpatrick, W. K. (2016). "Kirkpatrick's Four Levels of Training Evaluation". ATD Press.
Mourão, L.; Meneses, P. P. M. (2012). Construção de Medidas em TD&E. In "Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão de pessoas". PA, RS: Artmed, p. 50-63.
Oliveira, R. N. R. et al. (2019). "Avaliações em Jogos Educacionais: instrumentos de avaliação da reação, aprendizagem e comparação de jogos". In: SBIE, p. 972-981.
Oliveira, R. N. R. et al. (2021a). "Relato de Experiência do Desenvolvimento e Avaliação da Usabilidade e Acessibilidade de um Protótipo de Jogo Educacional Digital para Pessoas com Deficiência Visual". In: RBEE, v.27(3), p. 847-864.
Oliveira, R. N. R.; Cardoso, R. P.; Braga, J. C.; Rocha, R. V. (2018). "Frameworks para Desenvolvimento de Jogos Educacionais: uma revisão e comparação de pesquisas recentes". In: SBIE, p. 854-863.
Oliveira, R. N. R.; Rocha, R. V; Goya, D. H. (2021b). "Planning the Design and Execution of Student Performance Assessment in Serious Games". In: Journal on Interactive Systems (JIS) - Special Issue Best of SBGames 2020 - Education and Health, p. 1-15.
Oliveira, R.N.R.; Rocha, R.V. (2019). "Guerra em Alto Mar: um Jogo de Tabuleiro com Quiz Personalizável para Engajar e Motivar Estudantes". In: SBGames, p. 1164-1167.
Oliveira, R.N.R.; Rocha, R.V .(2020a). "AvaliaJS: Modelo Conceitual de Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios". Relatório Técnico. UFABC, 2020a. Disponível em: https://bit.ly/RelatorioJS. Acesso em: maio. 2020.
Oliveira, R.N.R.; Rocha, R.V. (2020b). "Modelo Conceitual de Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios". In: SBGames, p. 682-691.
Oliveira, W.; Joaquim, S. and Isotani, S. (2020). Avaliação de Jogos Educacionais: desafios, oportunidades e direcionamento de pesquisa. In XIX SBGames, p. 775-778.
Osterwalder, A. (2004). "The Business Model Ontology: A Proposition in a Design Science Approach". Thesis (Bus. Infor. Syst.) - Univ. of Lausanne, Switzerland.
Petri, G. (2018). A method for the evaluation of the quality of games for computing education. Dissertation (Computer Science) - Federal University of Santa Catarina. Florianópolis, SC, p. 1-335.
Rocha, R. V. (2014). "Metodologia iterativa e modelos integradores para desenvolvimento de jogos sérios de treinamento e avaliação de desempenho humano". Tese (Doutorado em Ciência da Computação) – UFSCar.
Rocha, R.V.; Bittencourt, I.I.; Isotani, S. (2015). "Análise, Projeto, Desenvolvimento e Avaliação de JSs e Afins: uma revisão de desafios e oportunidades". In SBIE, p. 692-701.
Rossato, I. F. (1996). "Uma metodologia para a análise e solução de problema". Dissertação (Mestrado em Engenharia de Produção e Sistema) - UFSC.
Salas, E. et al. (2009). Performance measurement in simulation-based training: a review and best practices. In Simulation & Gaming, v. 40, p. 328–376.
Savi, R.; Gresse Von Wangenheim, C.; Ulbricht, V. R.; Vanzin, T. (2010). "Proposta de um modelo para avaliação de jogos educacionais". In RENOTE, v. 8(3), p. 1-10.
Star, K.; Vuillier, L.; Deterding, S. (2016). D2. 6 Prosocial Game design methodology. Gamification of Prosocial Lear. for Incr.Youth Inclusion and Acad. Achi., p. 1-60.
Trybus, J. (2010). "Game-Based Learning: What it is, Why it Works, and Where it's Going". NMI White Paper. New Media Institute, New York.
Wohlin, C.; et al. (2000). "Experimentation in Software Engineering-An Introduction". (1st ed.). Kluwer Academic Publishers, Norwell, MA, USA.
Zerbini, T.; Borges-ferreira, M. F.; Abbad, G. S. (2012). Medidas de Reação a Cursos a Distância. In "Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão de pessoas". PA, RS: Artmed, p. 91-107.
Aslan, S.; Balci, O. (2015). GAMED: digital educational game development methodology. In "Simulation", v. 9(4), p. 307-319.
Basili, V.; Caldiera, G.; Rombach, H. (1994). "Goal Question Metric Paradigm". Encyclopedia of Software Engineering, v. 1, John Wiley & Sons, p. 528-532.
Beecham, S.; Hall, T.; Britton, C.; Cottee, M.;Rainer, A. (2005). "Using an Expert Panel to Validate a Requirements Process Improvement Model". The J. Syst. Soft. v. 76.
Bellotti, F.; Kapralos, B.; Lee, K.; Moreno-ger, P.; Berta, R. (2013). "Assessment in and of serious games: an overview". Advances in Hu.-Comp. Inter., v. 2013, p. 1–11.
Chaudy, Y; Connolly, T. (2019). "Specification and evaluation of an assessment engine for educational games: Integrating learning analytics and providing an assessment authoring tool". In: Entertainment Comput., v. 30, p. 1-16.
Coelho, J.A.P.M.; Souza, G.H.S.; Albuquerque, J. (2020). Desenvolvimento de questionários e aplicação na pesquisa em Informática na Educação. Jaques, P. A. et al., (Org.) "Metodologia de Pesquisa Científica em Informática na Educação: Abordagem Quantitativa". Porto Alegre, RS: SBC.
Cronbach, L. J. (1951). "Coefficient alpha and the internal structure of tests". Psychometrika, v. 16(3), p. 297–334.
Daoudi, I.; et al. (2017). "Learners' Assessment and Evaluation in Serious Games: Approaches and Techniques Review". ISCRAM-med, Xanthi, Greece.
Emmerich,K.; Bockholt,M. (2016). "Serious Games Evaluation: Processes, Models, and Concepts". Entert. Comp. and Serious Games. Springer, Cham, v. 9970, p. 265-283.
Falchikov, N. (2005). "Improving Assessment Through Student Involvement: Practical Solutions For Aiding Learning In Higher And Further Education". RoutledgeFalmer.
GIL, A. C. (1991). "Como elaborar projetos de pesquisa". 3 ed. SP: Atlas, p. 1-192.
Hattie, J.; Timperley, H. (2007). "The power of feedback". Review of Educational Research, v. 77(1), p. 81‐112.
Kirkpatrick, J. D.; Kirkpatrick, W. K. (2016). "Kirkpatrick's Four Levels of Training Evaluation". ATD Press.
Mourão, L.; Meneses, P. P. M. (2012). Construção de Medidas em TD&E. In "Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão de pessoas". PA, RS: Artmed, p. 50-63.
Oliveira, R. N. R. et al. (2019). "Avaliações em Jogos Educacionais: instrumentos de avaliação da reação, aprendizagem e comparação de jogos". In: SBIE, p. 972-981.
Oliveira, R. N. R. et al. (2021a). "Relato de Experiência do Desenvolvimento e Avaliação da Usabilidade e Acessibilidade de um Protótipo de Jogo Educacional Digital para Pessoas com Deficiência Visual". In: RBEE, v.27(3), p. 847-864.
Oliveira, R. N. R.; Cardoso, R. P.; Braga, J. C.; Rocha, R. V. (2018). "Frameworks para Desenvolvimento de Jogos Educacionais: uma revisão e comparação de pesquisas recentes". In: SBIE, p. 854-863.
Oliveira, R. N. R.; Rocha, R. V; Goya, D. H. (2021b). "Planning the Design and Execution of Student Performance Assessment in Serious Games". In: Journal on Interactive Systems (JIS) - Special Issue Best of SBGames 2020 - Education and Health, p. 1-15.
Oliveira, R.N.R.; Rocha, R.V. (2019). "Guerra em Alto Mar: um Jogo de Tabuleiro com Quiz Personalizável para Engajar e Motivar Estudantes". In: SBGames, p. 1164-1167.
Oliveira, R.N.R.; Rocha, R.V .(2020a). "AvaliaJS: Modelo Conceitual de Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios". Relatório Técnico. UFABC, 2020a. Disponível em: https://bit.ly/RelatorioJS. Acesso em: maio. 2020.
Oliveira, R.N.R.; Rocha, R.V. (2020b). "Modelo Conceitual de Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios". In: SBGames, p. 682-691.
Oliveira, W.; Joaquim, S. and Isotani, S. (2020). Avaliação de Jogos Educacionais: desafios, oportunidades e direcionamento de pesquisa. In XIX SBGames, p. 775-778.
Osterwalder, A. (2004). "The Business Model Ontology: A Proposition in a Design Science Approach". Thesis (Bus. Infor. Syst.) - Univ. of Lausanne, Switzerland.
Petri, G. (2018). A method for the evaluation of the quality of games for computing education. Dissertation (Computer Science) - Federal University of Santa Catarina. Florianópolis, SC, p. 1-335.
Rocha, R. V. (2014). "Metodologia iterativa e modelos integradores para desenvolvimento de jogos sérios de treinamento e avaliação de desempenho humano". Tese (Doutorado em Ciência da Computação) – UFSCar.
Rocha, R.V.; Bittencourt, I.I.; Isotani, S. (2015). "Análise, Projeto, Desenvolvimento e Avaliação de JSs e Afins: uma revisão de desafios e oportunidades". In SBIE, p. 692-701.
Rossato, I. F. (1996). "Uma metodologia para a análise e solução de problema". Dissertação (Mestrado em Engenharia de Produção e Sistema) - UFSC.
Salas, E. et al. (2009). Performance measurement in simulation-based training: a review and best practices. In Simulation & Gaming, v. 40, p. 328–376.
Savi, R.; Gresse Von Wangenheim, C.; Ulbricht, V. R.; Vanzin, T. (2010). "Proposta de um modelo para avaliação de jogos educacionais". In RENOTE, v. 8(3), p. 1-10.
Star, K.; Vuillier, L.; Deterding, S. (2016). D2. 6 Prosocial Game design methodology. Gamification of Prosocial Lear. for Incr.Youth Inclusion and Acad. Achi., p. 1-60.
Trybus, J. (2010). "Game-Based Learning: What it is, Why it Works, and Where it's Going". NMI White Paper. New Media Institute, New York.
Wohlin, C.; et al. (2000). "Experimentation in Software Engineering-An Introduction". (1st ed.). Kluwer Academic Publishers, Norwell, MA, USA.
Zerbini, T.; Borges-ferreira, M. F.; Abbad, G. S. (2012). Medidas de Reação a Cursos a Distância. In "Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão de pessoas". PA, RS: Artmed, p. 91-107.
Published
2021-11-22
How to Cite
OLIVEIRA, Rháleff N. R.; ROCHA, Rafaela Vilela.
AvaliaJS: Student Performance Evaluation Planning in Serious Games. In: ALEXANDRE DIRENE CONTEST (CTD-IE) - MASTERS DISSERTATIONS - BRAZILIAN CONGRESS ON COMPUTERS IN EDUCATION (CBIE), 10. , 2021, Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2021
.
p. 101-110.
DOI: https://doi.org/10.5753/wcbie.2021.219034.
