Planejamento do Design e Execução da Avaliação do Desempenho de Alunos em Jogos Sérios
Resumo
A avaliação em Jogos Sérios (JSs) deve fornecer informações detalhadas sobre os processos de aprendizado e feedback imediato e personalizado para o aluno. Neste contexto, o objetivo dessa pesquisa é desenvolver e avaliar o AvaliaJS, um modelo conceitual para estruturar, orientar e apoiar o planejamento da concepção e execução da avaliação de desempenho do aluno em JSs. O AvaliaJS possui dois artefatos: o modelo Canvas e o documento de projeto de avaliação. Como prova de conceito, três jogos já prontos foram usados para exemplificação e análise do AvaliaJS. Além disso, a qualidade do AvaliaJS foi avaliada por especialistas em desenvolvimento e avaliação de JSs, por meio de um questionário. Os resultados das respostas dos especialistas confirmam uma boa consistência interna (alfa de Cronbach α = 0,87), o que indica que o AvaliaJS é correto, autêntico, consistente, claro, inequívoco e flexível. O modelo precisará ser validado durante o processo de criação de um novo jogo para garantir sua usabilidade e eficiência. De maneira geral, o AvaliaJS pode ser utilizado para apoiar o planejamento, documentação e desenvolvimento de artefatos e coleta de dados em JSs, bem como na execução da avaliação, medição do aprendizado e oferta de feedback para os alunos.
Palavras-chave:
jogos sérios, avaliação do desempenho humano, modelo conceitual, avaliação em jogos
Referências
C. C. Abt, Serious Games. Lanham. MD: University Press of America, 1987.
R. V. Rocha, “Metodologia iterativa e modelos integradores para desenvolvimento de jogos sérios de treinamento e avaliação de desempenho humano,” M.S. thesis (Computer Science), Federal University of São Carlos, 2014.
D. Djaouti, J. Alvarez and J. P. Jessel, “Classifying serious games: the G/P/S model,” in Handbook of research on improving learning and motivation through educational games: Multidisciplinary Approaches, P. Felicia, 2011, pp. 118-136.
J. Trybus, Game-Based Learning: What it is, Why it Works, and Where it's Going, NMI White Paper. New Media Institute, 2010.
R. N. R . Oliveira, G. Belarmino, C. Rodriguez, D. Goya, M. F. Venero, A. Oliveira Junior and R. V. Rocha, “Avaliações em Jogos Educacionais: instrumentos de avaliação da reação, aprendizagem e comparação de jogos,” in Ann. XXX SBIE, 2019, pp. 972-981.
K. Emmerich and M. Bockholt, “Serious Games Evaluation: Processes, Models, and Concepts,” in Entertainment Computing and Serious Games. Lecture Notes in Computer Science, R. Dörner, et al. (eds.), Springer, Cham, v. 9970, 2016, pp. 265-283.
Y. Chaudy and T. Connolly, “Specification and evaluation of an assessment engine for educational games: Integrating learning analytics and providing an assessment authoring tool,” in Entertainment Comput., v. 30, 2019, pp. 1-16.
R.N.R.Oliveira,R.P.Cardoso, J.C.Braga and R.V.Rocha, “Frameworks para Desenvolvimento de Jogos Educacionais: revisão e comparação de pesquisas recentes,” in Ann. XXIX SBIE, 2018, pp. 854-863.
R. N. R. Oliveira, “Planejamento do design e da execução da avaliação do desempenho de alunos em Jogos Sérios,” Ph.D. dissertation (Computer Science) - UFABC, Santo André, SP, 2020, pp. 1-128. Disponível em: http://bit.ly/DissertaçãoRhaleff.
R.N.R.Oliveira and R.V. Rocha, “AvaliaJS: Modelo Conceitual de Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios - Technical Report (in Portuguese),” Federal University of ABC, v.1, 2020a. [Online]. Available at: https://bit.ly/RelatorioJS.
R. N. R. Oliveira, R. V. Rocha and D. H. Goya, “Planning the Design and Execution of Student Performance Assessment in Serious Games,” in Journal on Interactive Systems (JIS) - Special Issue Best of SBGames 2020 - Education and Health, 2021b.
R. N. R. Oliveira and R. V. Rocha, “Guerra em Alto Mar: um Jogo de Tabuleiro com Quiz Personalizável para Engajar e Motivar Estudantes,” in Ann. XVIII SBGames, 2019, pp. 1164-1167.
R. N. R. Oliveira, G. D. Belarmino, C. Rodriguez, D. H. Goya, M. Venero, P. Benitez and R. V. Rocha, “Relato de Experiência do Desenvolvimento e Avaliação da Usabilidade e Acessibilidade de um Protótipo de Jogo Educacional Digital para Pessoas com Deficiência Visual,” in Rev. bras. educ. espec., v.27(3), 2021a, pp. 847-864.
R. N. R. Oliveira and R. V. Rocha, “Modelo Conceitual de Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios,” in Ann. XVIV SBGames, 2020b, pp. 682-691.
A. C. Gil, “Como elaborar projetos de pesquisa,” 3 ed. São Paulo: Atlas, 1991.
I. F. Rossato, “Uma metodologia para a análise e solução de problema,” Ph.D. dissertation (Engenharia de Produção e Sistema) - UFSC, 1996.
N. Falchikov, Improving Assessment Through Student Involvement: Practical Solutions For Aiding Learning In Higher And Further Education. New York: RoutledgeFalmer, 2005.
A. Osterwalder, “The Business Model Ontology – A Proposition in a Design Science Approach,” M.S. thesis (Business Information Systems) - University of Lausanne, 2004.
S. Aslan and O. Balci, “GAMED: digital educational game development methodology,” in Simulation, v. 9(4), 2015, pp. 307-319.
S. Beecham, T. Hall, C. Britton, M. Cottee and A. Rainer, “Using an Expert Panel to Validate a Requirements Process Improvement Model,” in The Journal of Syst. and Soft., v. 76, 2005.
V. Basili, G. Caldiera and H. Rombach, “Goal Question Metric Paradigm,” in Encyclopedia of Software Engineering, v. 1, 1994, pp. 528-532.
R. Savi, C. Gresse Von Wangenheim, V. R. Ulbricht and T. Vanzin, “Proposta de um modelo para avaliação de jogos educacionais,” in RENOTE, v. 8(3), 2010.
G. Petri, “A method for the evaluation of the quality of games for computing education,” M.S. thesis (Computer Science) - Federal University of Santa Catarina. Florianópolis, SC, 2018.
L. Mourão and P. P. M. Meneses, “Construção de Medidas em TD&E,” in Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão de pessoas, G. S. Abbad, et al., Porto Alegre: Artmed, 2012, pp. 50-63.
T. Zerbini, M. F. Borges-ferreira and G. S. Abbad, “Medidas de Reação a Cursos a Distância,” in: Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão de pessoas, G. Abbad, et al., Porto Alegre: Artmed, 2012, pp. 91-107.
J.A.P.M. Coelho, G.H.S. Souza and J. Albuquerque, “Desenvolvimento de questionários e aplicação na pesquisa em Informática na Educação,” in Metodologia de Pesquisa Científica em Informática na Educação: Abordagem Quantitativa, P. A. Jaques, et al., (Org.) Porto Alegre: SBC, 2020.
L. J. Cronbach, “Coefficient alpha and the internal structure of tests,” in Psychometrika, v. 16(3), 1951, pp. 297–334.
R.V. Rocha, I. I. Bittencourt and S. Isotani, “Análise, Projeto, Desenvolvimento e Avaliação de Jogos Sérios e Afins: uma revisão de desafios e oportunidades,” in Ann. XXVI SBIE, 2015, pp. 692-701.
W. Oliveira, S. Joaquim and S. Isotani, “Avaliação de Jogos Educacionais: Desafios, Oportunidades e Direcionamento de Pesquisa,” in Ann. XIX SBGames, 2020, pp. 775-778.
E. Salas, M. A. Rosen, J. D. Held. and J. J. Weissmuller, “Performance measurement in simulation-based training: a review and best practices,” in Simul. & Gam., v. 40, 2009, pp. 328–376.
R. V. Rocha, “Metodologia iterativa e modelos integradores para desenvolvimento de jogos sérios de treinamento e avaliação de desempenho humano,” M.S. thesis (Computer Science), Federal University of São Carlos, 2014.
D. Djaouti, J. Alvarez and J. P. Jessel, “Classifying serious games: the G/P/S model,” in Handbook of research on improving learning and motivation through educational games: Multidisciplinary Approaches, P. Felicia, 2011, pp. 118-136.
J. Trybus, Game-Based Learning: What it is, Why it Works, and Where it's Going, NMI White Paper. New Media Institute, 2010.
R. N. R . Oliveira, G. Belarmino, C. Rodriguez, D. Goya, M. F. Venero, A. Oliveira Junior and R. V. Rocha, “Avaliações em Jogos Educacionais: instrumentos de avaliação da reação, aprendizagem e comparação de jogos,” in Ann. XXX SBIE, 2019, pp. 972-981.
K. Emmerich and M. Bockholt, “Serious Games Evaluation: Processes, Models, and Concepts,” in Entertainment Computing and Serious Games. Lecture Notes in Computer Science, R. Dörner, et al. (eds.), Springer, Cham, v. 9970, 2016, pp. 265-283.
Y. Chaudy and T. Connolly, “Specification and evaluation of an assessment engine for educational games: Integrating learning analytics and providing an assessment authoring tool,” in Entertainment Comput., v. 30, 2019, pp. 1-16.
R.N.R.Oliveira,R.P.Cardoso, J.C.Braga and R.V.Rocha, “Frameworks para Desenvolvimento de Jogos Educacionais: revisão e comparação de pesquisas recentes,” in Ann. XXIX SBIE, 2018, pp. 854-863.
R. N. R. Oliveira, “Planejamento do design e da execução da avaliação do desempenho de alunos em Jogos Sérios,” Ph.D. dissertation (Computer Science) - UFABC, Santo André, SP, 2020, pp. 1-128. Disponível em: http://bit.ly/DissertaçãoRhaleff.
R.N.R.Oliveira and R.V. Rocha, “AvaliaJS: Modelo Conceitual de Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios - Technical Report (in Portuguese),” Federal University of ABC, v.1, 2020a. [Online]. Available at: https://bit.ly/RelatorioJS.
R. N. R. Oliveira, R. V. Rocha and D. H. Goya, “Planning the Design and Execution of Student Performance Assessment in Serious Games,” in Journal on Interactive Systems (JIS) - Special Issue Best of SBGames 2020 - Education and Health, 2021b.
R. N. R. Oliveira and R. V. Rocha, “Guerra em Alto Mar: um Jogo de Tabuleiro com Quiz Personalizável para Engajar e Motivar Estudantes,” in Ann. XVIII SBGames, 2019, pp. 1164-1167.
R. N. R. Oliveira, G. D. Belarmino, C. Rodriguez, D. H. Goya, M. Venero, P. Benitez and R. V. Rocha, “Relato de Experiência do Desenvolvimento e Avaliação da Usabilidade e Acessibilidade de um Protótipo de Jogo Educacional Digital para Pessoas com Deficiência Visual,” in Rev. bras. educ. espec., v.27(3), 2021a, pp. 847-864.
R. N. R. Oliveira and R. V. Rocha, “Modelo Conceitual de Planejamento da Avaliação do Desempenho de Alunos em Jogos Sérios,” in Ann. XVIV SBGames, 2020b, pp. 682-691.
A. C. Gil, “Como elaborar projetos de pesquisa,” 3 ed. São Paulo: Atlas, 1991.
I. F. Rossato, “Uma metodologia para a análise e solução de problema,” Ph.D. dissertation (Engenharia de Produção e Sistema) - UFSC, 1996.
N. Falchikov, Improving Assessment Through Student Involvement: Practical Solutions For Aiding Learning In Higher And Further Education. New York: RoutledgeFalmer, 2005.
A. Osterwalder, “The Business Model Ontology – A Proposition in a Design Science Approach,” M.S. thesis (Business Information Systems) - University of Lausanne, 2004.
S. Aslan and O. Balci, “GAMED: digital educational game development methodology,” in Simulation, v. 9(4), 2015, pp. 307-319.
S. Beecham, T. Hall, C. Britton, M. Cottee and A. Rainer, “Using an Expert Panel to Validate a Requirements Process Improvement Model,” in The Journal of Syst. and Soft., v. 76, 2005.
V. Basili, G. Caldiera and H. Rombach, “Goal Question Metric Paradigm,” in Encyclopedia of Software Engineering, v. 1, 1994, pp. 528-532.
R. Savi, C. Gresse Von Wangenheim, V. R. Ulbricht and T. Vanzin, “Proposta de um modelo para avaliação de jogos educacionais,” in RENOTE, v. 8(3), 2010.
G. Petri, “A method for the evaluation of the quality of games for computing education,” M.S. thesis (Computer Science) - Federal University of Santa Catarina. Florianópolis, SC, 2018.
L. Mourão and P. P. M. Meneses, “Construção de Medidas em TD&E,” in Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão de pessoas, G. S. Abbad, et al., Porto Alegre: Artmed, 2012, pp. 50-63.
T. Zerbini, M. F. Borges-ferreira and G. S. Abbad, “Medidas de Reação a Cursos a Distância,” in: Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: ferramentas para gestão de pessoas, G. Abbad, et al., Porto Alegre: Artmed, 2012, pp. 91-107.
J.A.P.M. Coelho, G.H.S. Souza and J. Albuquerque, “Desenvolvimento de questionários e aplicação na pesquisa em Informática na Educação,” in Metodologia de Pesquisa Científica em Informática na Educação: Abordagem Quantitativa, P. A. Jaques, et al., (Org.) Porto Alegre: SBC, 2020.
L. J. Cronbach, “Coefficient alpha and the internal structure of tests,” in Psychometrika, v. 16(3), 1951, pp. 297–334.
R.V. Rocha, I. I. Bittencourt and S. Isotani, “Análise, Projeto, Desenvolvimento e Avaliação de Jogos Sérios e Afins: uma revisão de desafios e oportunidades,” in Ann. XXVI SBIE, 2015, pp. 692-701.
W. Oliveira, S. Joaquim and S. Isotani, “Avaliação de Jogos Educacionais: Desafios, Oportunidades e Direcionamento de Pesquisa,” in Ann. XIX SBGames, 2020, pp. 775-778.
E. Salas, M. A. Rosen, J. D. Held. and J. J. Weissmuller, “Performance measurement in simulation-based training: a review and best practices,” in Simul. & Gam., v. 40, 2009, pp. 328–376.
Publicado
18/10/2021
Como Citar
OLIVEIRA, Rháleff Nascimento Rodrigues de; ROCHA, Rafaela Vilela da.
Planejamento do Design e Execução da Avaliação do Desempenho de Alunos em Jogos Sérios. In: CONCURSO DE TESES E DISSERTAÇÕES – MESTRADO - SIMPÓSIO BRASILEIRO DE JOGOS E ENTRETENIMENTO DIGITAL (SBGAMES), 20. , 2021, Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2021
.
p. 1001-1004.
DOI: https://doi.org/10.5753/sbgames_estendido.2021.19746.
