“Juntos Venceremos” – Um exergame para teste de jogo multiplayer utilizando visão computacional

• André Bonetto Trindade IFSC
• Joice Luiz Jeronimo IFSC
• Marcelo da Silva Hounsell UDESC
• Rafael Stubs Parpinelli UDESC

DOI: https://doi.org/10.5753/sbgames_estendido.2023.233820

Resumo

Este artigo descreve o desenvolvimento de um jogo multijogadores do tipo exergame que utiliza ferramenta de aprendizado de máquina para o rastreamento de poses de pessoas em tempo real. O sistema é composto por equipamentos convencionais: computador, webcam e projetor de vídeo. Após uma busca exploratória de modelos de código aberto, foi selecionada a ferramenta Movenet que utiliza rede neural convolucional como base do algoritmo e que pode detectar até 6 pessoas em velocidade de resposta superior a 30 quadros por segundo, possibilitando a execução do jogo sem latência perceptível ao usuário.

Palavras-chave: Visão Computacional, Exergame, Autismo

Referências

Alvarez, J. e Djaouti, D. (2011) “An introduction to Serious Game Definitions and Concepts”, Anais do Serious Games & Simulation for Risks Management Workshop, pp. 11–15.

Bazarevsky, V. et al. (2020). “Blazepose: On-device real-time body pose tracking”, In: arXiv preprint arXiv:2006.10204.

Cao, Z., Simon, T., Wei, S. E., & Sheikh, Y. (2017). “Realtime multi-person 2d pose estimation using part affinity fields”, In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7291-7299.

Fang, H. S. et al. (2022). “Alphapose: Whole-body regional multi-person pose estimation and tracking in real-time”, IEEE Transactions on Pattern Analysis and Machine Intelligence.

Goodfellow I., Bengio Y., e Courville A. (2016). “Deep Learning”, Disponível em: [link]. Acesso em: 16-Junho-2023.

Güler, R. A., Neverova, N. e Kokkinos, I. (2018). “Densepose: Dense human pose estimation in the wild”, In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7297-7306.

Insafutdinov, E. et al. (2017). “Artrack: Articulated multi-person tracking in the wild”, In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 6457-6465.

Jo, B. e Kim, S. (2022). “Comparative analysis of OpenPose, PoseNet, and MoveNet models for pose estimation in mobile devices”, Traitement du Signal, Vol. 39, No. 1, pp. 119-124.

Kocabas, M., Karagoz, S. e Akbas, E. (2018). “Multiposenet: Fast multi-person pose estimation using pose residual network”, In: Proceedings of the European conference on computer vision, pp. 417-433.

Mehta, D. et al. (2020). “XNect: Real-time multi-person 3D motion capture with a single RGB câmera”. ACM Transactions On Graphics, Vol. 39, No. 4, pp. 82-1.

Pishchulin, L. et al. (2016). “Deepcut: Joint subset partition and labeling for multi person pose estimation”, In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4929-4937.

Szeliski, R. (2021). “Computer Vision: Algorithms and Applications 2nd Edition”, In: Final draft, September 30-2022, The University of Washington, Springer.

TensorFlow (2023). “MoveNet: Modelo de detecção de pose ultrarrápido e preciso”. Disponível em: [link]. [Acesso em: 01-maio-2023].

Tian, Z., Chen, H. e Shen, C. (2019). “Directpose: Direct end-to-end multi-person pose estimation”, In: arXiv preprint arXiv:1911.07451.

Trindade, A. B., Pereira, G. B. e Hounsell, M. da S. (2022). “Chão Interativo e Jogos Sérios Ativos para Autistas: A Plataforma T-TEA e o Jogo RepeTEA”. In Anais Estendidos do XXI Simpósio Brasileiro de Jogos e Entretenimento Digital, pp. 512-521.