Evaluation of the efficiency of an educational game for teaching the behavior of distinguishing legitimate emails from phishing attempts
Abstract
The aim of this study was to develop and evaluate the efficiency of the educational game Alerta for teaching the behavior of "distinguishing legitimate emails from phishing attempts". In the first development iteration, 4 computer science students participated, and in the second, 27 individuals from diverse fields. The results were promising, demonstrating learning in distinguishing between legitimate and phishing emails, improved self-confidence, and positive indicators of usability and satisfaction. Future studies need to continue refining and testing the game with a larger and more diverse sample, as well as incorporating new learning objectives to empower individuals to handle modern phishing techniques.References
Alanazi, M., Freeman, M., and Tootell, H. (2022). Exploring the factors that influence the cybersecurity behaviors of young adults. Computers in Human Behavior, 136(107376), 1-14. DOI: 10.1016/j.chb.2022.107376
APWG. (2023). Phishing activity trends reports. Recuperado de [link]
APWG. (2024). Phishing activity trends reports. Recuperado de [link]
Butavicius, M., Parsons, K., Pattinson, M., and McCormac, A. (2016). Breaching the human firewall: Social engineering in phishing and spear-phishing emails. DOI: 10.48550/ARXIV.1606.00887
Centro de Estudos, Resposta e Tratamento de Incidentes de Segurança no Brasil. (2024). Páginas Falsas Utilizadas em Tentativas de Phishing. Recuperado de [link]
Diorio, R. F., Serafim, E., Alves, K. R., and Meira, M. C. (2018). Segurança da Informação e de Sistemas Computacionais: Um Estudo Prático sobre Ataques Utilizando Malwares. Anais SULCOMP, 9. Recuperado de [link]
Documentation. [s.d.]. Unity documentation. Recuperado de [link]
Farias, F. L. de O., Medeiros, N. A. A. de, Rocha, S. L. da, Medeiros, D. F. de, Nóbrega, E. C. da, Burlamaqui, A., and Madeira, C. (2019). Self Protect: Um jogo para auxílio no ensino de conceitos relacionados a Segurança na Internet para Crianças e Adolescentes. In Anais do XXV Workshop de Informática na Escola (pp 246-255). Sociedade Brasileira de Computação. DOI: 10.5753/cbie.wie.2019.246
Gris, G., and De Souza, S. R. (2016). Digital educational games and model of network relations: Development and evaluating of the physical prototype of Korsan game. Perspectivas em Análise do Comportamento, 7(1), 114–132. DOI: 10.18761/pac.2016.003
Guilherme, L. P., Ferreira, M. F., Da Fonseca, G. M., and Lazarin, N. M. (2021). Uma breve noção sobre o comportamento dos internautas em relação à segurança na rede. In Escola Regional de Sistemas de Informação do Rio de Janeiro (ERSI-RJ) (pp. 1-7). Sociedade Brasileira de Computação. DOI: 10.5753/ersirj.2021.16972
Hartwig, K., and Reuter, C. (2021). Nudge or restraint: How do people assess nudging in cybersecurity - A representative study in Germany. In Proceedings of the 2021 European Symposium on Usable Security, (pp 141-150). ACM. DOI: 10.1145/3481357.3481514
Kienen, N., Panosso, M. G., Nery, A. G. S., Waku, I., and Carmo, J. S. (2021). Contextualização sobre a programação de condições para desenvolvimento de comportamentos (PCDC): Uma experiência brasileira. Perspectivas em Análise do Comportamento, 12(2), 360-390. DOI: 10.18761/PAC.2021.jul110
Kovacevic, A., Putnik, N., and Toskovic, O. (2020). Factors related to cyber security behavior. IEEE Access, 8, 125140–125148. DOI: 10.1109/access.2020.3007867
Melo, L. P., Amaral, D. M., Sakakibara, F., De Almeida, A. R., De Sousa Jr, R. T., and Nascimento, A. (2011). Análise de Malware: Investigação de Códigos Maliciosos Através de uma Abordagem Prática. In Minicursos do XI Simpósio Brasileiro de Segurança da Informação e de Sistemas Computacionais (pp. 9–52). Sociedade Brasileira de Computação. DOI: 10.5753/sbc.9559.1.1
Moreira, B. M., and Medeiros, A. C. (2018). Princípios básicos de análise do comportamento. Porto Alegre: Artmed.
Morgado, E. M., Távora, C. G., Lima, A. C. P. F. de, Albino, J. P., and Bucchianico, I. (2023). Caso de Cyber Fraud por telefone no Brasil e A Inteligência Artificial: Vítimas Idosas, Spoofing até a Manipulação por Engenharia Social. In Inteligência Artificial e suas Aplicações Interdisciplinares (pp. 113–126). Editora e-Publicar. DOI: 10.47402/ed.ep.c202321007201
Panosso, M. G., Souza, S. R., and Haydu, V. B. (2015). Características atribuídas a jogos educativos: Uma interpretação Analítico-Comportamental. Revista Quadrimestral da Associação Brasileira de Psicologia Escolar e Educacional, 19(2), 233-241. DOI: 10.1590/2175-3539/2015/0192821
Rahman, N. A. A., Sairi, I. H., and Zizi, N. A. M., Khalid, F. (2020). The importance of cybersecurity education in school. International Journal of Information and Education Technology, 10(5), 378–382. DOI: 10.18178/ijiet.2020.10.5.1393
Rajasekharaiah, K. M., Dule, C. S., and Sudarshan, E. (2020). Cyber security challenges and its emerging trends on latest technologies. IOP Conference Series: Materials Science and Engineering, 981(2), 022062. DOI: 10.1088/1757-899x/981/2/022062
Ruoslahti, H., Coburn, J., Trent, A., and Tikanmäki, I. (2021). Cyber skills gaps – A systematic review of the academic literature. Connections The Quarterly Journal, 20(2), 33–45. DOI: 10.11610/connections.20.2.04
Scarfone, K. A., Souppaya, M. P., Cody, A., and Orebaugh, A. D. (2008). Technical guide to information security testing and assessment. Gaithersburg, MD: National Institute of Standards and Technology. DOI: 10.6028/nist.sp.800-115
Schell, J. (2015). The art of game design: A book of lenses. CRC Press.
Skinner, B. F. (1981). Ciência e comportamento humano. São Paulo: Martins Fontes.
Sophos. (2023). The state of ransomware 2023. Recuperado de [link]
Souza, L. C., and Tanaka, S. S. (2023). Estudo sobre ataques de phishing e suas técnicas de defesa. Revista Terra & Cultura: Cadernos de Ensino e Pesquisa, 39(Especial), 90–95. Retrieved November 18, 2023, from [link]
Syafitri, W., Shukur, Z., Mokhtar, U. A., Sulaiman, R., and Ibrahim, M. A. (2022). Social engineering attacks prevention: A systematic literature review. IEEE Access, 10, 39325–39343. DOI: 10.1109/access.2022.3162594
Tsutsumi, M. M. A., Goulart, P. R. K., Silva Júnior, M. D., Haydu, V. B., and Jimenéz, É. L. de O. (2020). Avaliação de jogos educativos no ensino de conteúdos acadêmicos: Uma revisão sistemática da literatura. Revista Portuguesa de Educação, 33(1), 38–55. DOI: 10.21814/rpe.19130
Wash, R. (2020). How experts detect phishing scam emails. Proceedings of the ACM on Human-Computer Interaction, 4(CSCW2), 1–28. DOI: 10.1145/3415231
APWG. (2023). Phishing activity trends reports. Recuperado de [link]
APWG. (2024). Phishing activity trends reports. Recuperado de [link]
Butavicius, M., Parsons, K., Pattinson, M., and McCormac, A. (2016). Breaching the human firewall: Social engineering in phishing and spear-phishing emails. DOI: 10.48550/ARXIV.1606.00887
Centro de Estudos, Resposta e Tratamento de Incidentes de Segurança no Brasil. (2024). Páginas Falsas Utilizadas em Tentativas de Phishing. Recuperado de [link]
Diorio, R. F., Serafim, E., Alves, K. R., and Meira, M. C. (2018). Segurança da Informação e de Sistemas Computacionais: Um Estudo Prático sobre Ataques Utilizando Malwares. Anais SULCOMP, 9. Recuperado de [link]
Documentation. [s.d.]. Unity documentation. Recuperado de [link]
Farias, F. L. de O., Medeiros, N. A. A. de, Rocha, S. L. da, Medeiros, D. F. de, Nóbrega, E. C. da, Burlamaqui, A., and Madeira, C. (2019). Self Protect: Um jogo para auxílio no ensino de conceitos relacionados a Segurança na Internet para Crianças e Adolescentes. In Anais do XXV Workshop de Informática na Escola (pp 246-255). Sociedade Brasileira de Computação. DOI: 10.5753/cbie.wie.2019.246
Gris, G., and De Souza, S. R. (2016). Digital educational games and model of network relations: Development and evaluating of the physical prototype of Korsan game. Perspectivas em Análise do Comportamento, 7(1), 114–132. DOI: 10.18761/pac.2016.003
Guilherme, L. P., Ferreira, M. F., Da Fonseca, G. M., and Lazarin, N. M. (2021). Uma breve noção sobre o comportamento dos internautas em relação à segurança na rede. In Escola Regional de Sistemas de Informação do Rio de Janeiro (ERSI-RJ) (pp. 1-7). Sociedade Brasileira de Computação. DOI: 10.5753/ersirj.2021.16972
Hartwig, K., and Reuter, C. (2021). Nudge or restraint: How do people assess nudging in cybersecurity - A representative study in Germany. In Proceedings of the 2021 European Symposium on Usable Security, (pp 141-150). ACM. DOI: 10.1145/3481357.3481514
Kienen, N., Panosso, M. G., Nery, A. G. S., Waku, I., and Carmo, J. S. (2021). Contextualização sobre a programação de condições para desenvolvimento de comportamentos (PCDC): Uma experiência brasileira. Perspectivas em Análise do Comportamento, 12(2), 360-390. DOI: 10.18761/PAC.2021.jul110
Kovacevic, A., Putnik, N., and Toskovic, O. (2020). Factors related to cyber security behavior. IEEE Access, 8, 125140–125148. DOI: 10.1109/access.2020.3007867
Melo, L. P., Amaral, D. M., Sakakibara, F., De Almeida, A. R., De Sousa Jr, R. T., and Nascimento, A. (2011). Análise de Malware: Investigação de Códigos Maliciosos Através de uma Abordagem Prática. In Minicursos do XI Simpósio Brasileiro de Segurança da Informação e de Sistemas Computacionais (pp. 9–52). Sociedade Brasileira de Computação. DOI: 10.5753/sbc.9559.1.1
Moreira, B. M., and Medeiros, A. C. (2018). Princípios básicos de análise do comportamento. Porto Alegre: Artmed.
Morgado, E. M., Távora, C. G., Lima, A. C. P. F. de, Albino, J. P., and Bucchianico, I. (2023). Caso de Cyber Fraud por telefone no Brasil e A Inteligência Artificial: Vítimas Idosas, Spoofing até a Manipulação por Engenharia Social. In Inteligência Artificial e suas Aplicações Interdisciplinares (pp. 113–126). Editora e-Publicar. DOI: 10.47402/ed.ep.c202321007201
Panosso, M. G., Souza, S. R., and Haydu, V. B. (2015). Características atribuídas a jogos educativos: Uma interpretação Analítico-Comportamental. Revista Quadrimestral da Associação Brasileira de Psicologia Escolar e Educacional, 19(2), 233-241. DOI: 10.1590/2175-3539/2015/0192821
Rahman, N. A. A., Sairi, I. H., and Zizi, N. A. M., Khalid, F. (2020). The importance of cybersecurity education in school. International Journal of Information and Education Technology, 10(5), 378–382. DOI: 10.18178/ijiet.2020.10.5.1393
Rajasekharaiah, K. M., Dule, C. S., and Sudarshan, E. (2020). Cyber security challenges and its emerging trends on latest technologies. IOP Conference Series: Materials Science and Engineering, 981(2), 022062. DOI: 10.1088/1757-899x/981/2/022062
Ruoslahti, H., Coburn, J., Trent, A., and Tikanmäki, I. (2021). Cyber skills gaps – A systematic review of the academic literature. Connections The Quarterly Journal, 20(2), 33–45. DOI: 10.11610/connections.20.2.04
Scarfone, K. A., Souppaya, M. P., Cody, A., and Orebaugh, A. D. (2008). Technical guide to information security testing and assessment. Gaithersburg, MD: National Institute of Standards and Technology. DOI: 10.6028/nist.sp.800-115
Schell, J. (2015). The art of game design: A book of lenses. CRC Press.
Skinner, B. F. (1981). Ciência e comportamento humano. São Paulo: Martins Fontes.
Sophos. (2023). The state of ransomware 2023. Recuperado de [link]
Souza, L. C., and Tanaka, S. S. (2023). Estudo sobre ataques de phishing e suas técnicas de defesa. Revista Terra & Cultura: Cadernos de Ensino e Pesquisa, 39(Especial), 90–95. Retrieved November 18, 2023, from [link]
Syafitri, W., Shukur, Z., Mokhtar, U. A., Sulaiman, R., and Ibrahim, M. A. (2022). Social engineering attacks prevention: A systematic literature review. IEEE Access, 10, 39325–39343. DOI: 10.1109/access.2022.3162594
Tsutsumi, M. M. A., Goulart, P. R. K., Silva Júnior, M. D., Haydu, V. B., and Jimenéz, É. L. de O. (2020). Avaliação de jogos educativos no ensino de conteúdos acadêmicos: Uma revisão sistemática da literatura. Revista Portuguesa de Educação, 33(1), 38–55. DOI: 10.21814/rpe.19130
Wash, R. (2020). How experts detect phishing scam emails. Proceedings of the ACM on Human-Computer Interaction, 4(CSCW2), 1–28. DOI: 10.1145/3415231
Published
2024-09-16
How to Cite
FONTOURA JÚNIOR, Jasson Marques; HENKLAIN, Marcelo Henrique Oliveira; LOBO, Felipe Leite; FEITOSA, Eduardo Luzeiro.
Evaluation of the efficiency of an educational game for teaching the behavior of distinguishing legitimate emails from phishing attempts. In: WORKSHOP ON SCIENTIFIC INITIATION AND UNDERGRADUATE WORKS - BRAZILIAN SYMPOSIUM ON CYBERSECURITY (SBSEG), 24. , 2024, São José dos Campos/SP.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 219-232.
DOI: https://doi.org/10.5753/sbseg_estendido.2024.243343.
