E-motion: Uma Abordagem de Visão Computacional para Inclusão de Pessoas com Limitações Motoras em Jogos Digitais

• André L. R. Cabral PUC Minas
• Douglas N. S. Gomes PUC Minas
• João P. D. Estevão PUC Minas
• Ricardo S. P. G. Cerqueira PUC Minas
• Victor S. Lima PUC Minas
• Felipe D. Cunha PUC Minas
• Matheus B. Pereira PUC Minas
• Matheus A. Souza PUC Minas

DOI: https://doi.org/10.5753/sbcup.2026.23141

Resumo

Jogos digitais podem apoiar lazer, participação social e reabilitação, mas muitas interfaces ainda dependem de controle fino das mãos. Este trabalho apresenta o e-motion, um controle virtual por webcam para jogos em turnos, que usa o MediaPipe Hands para mapear a posição das mãos em zonas virtuais, evitando gestos contínuos de formato da mão. O protótipo foi avaliado em benchmark exploratório de desempenho com entrada real de câmera e em observação funcional com usuários sem diagnóstico de limitação motora. Em 10 execuções com quatro participantes, o pipeline completo obteve 61,22 FPS com um worker e 106,89 FPS com quatro workers na escalabilidade forte, sem descarte de frames. O estudo não reivindica validação clínica.

Referências

Armanini, K. K., Weber, F. M., Muraro, C. F., Borges Junior, N. G., Domenech, S. C., and Gevaerd, M. d. S. (2015). Evaluation of manual dexterity in individuals with rheumatoid arthritis. Acta Fisiatrica. DOI: 10.5935/0104-7795.20150032.

Betke, M., Gips, J., and Fleming, P. (2002). The camera mouse: Visual tracking of body features to provide computer access for people with severe disabilities. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 10(1):1–10. DOI: 10.1109/TNSRE.2002.1021581.

Brown, M. and Anderson, S. L. (2021). Designing for disability: Evaluating the state of accessibility design in video games. Games and Culture, 16(6):702–718. First published online 2020; DOI: 10.1177/1555412020971500.

de Carvalho, C. V. and Coelho, A. (2022). Game-based learning, gamification in education and serious games. Computers, 11(3):36. DOI: 10.3390/computers11030036.

Dewhirst, A., Laugharne, R., and Shankar, R. (2022). Therapeutic use of serious games in mental health: Scoping review. BJPsych Open, 8(2):e37. DOI: 10.1192/bjo.2022.4.

Granic, I., Lobel, A., and Engels, R. C. M. E. (2014). The benefits of playing video games. American Psychologist, 69(1):66–78. DOI: 10.1037/a0034857.

Gu, F., Fan, J., Cai, C., Wang, Z., Liu, X., Yang, J., and Zhu, Q. (2022). Automatic detection of abnormal hand gestures in patients with radial, ulnar, or median nerve injury using hand pose estimation. Frontiers in Neurology, 13:1052505. DOI: 10.3389/fneur.2022.1052505.

Instituto Brasileiro de Geografia e Estatistica (2023). Censo demografico 2022: Pessoas com deficiencia. IBGE.

Sharma, S. A. and Singh, S. (2021). Vision-based hand gesture recognition using deep learning for the interpretation of sign language. Expert Systems with Applications, 182:115657. DOI: 10.1016/j.eswa.2021.115657.

Taheri, A., Weissman, Z., and Sra, M. (2021). Design and evaluation of a hands-free video game controller for individuals with motor impairments. Frontiers in Computer Science, 3:751455. DOI: 10.3389/fcomp.2021.751455.

Vickers, S., Istance, H., and Hyrskykari, A. (2013). Performing locomotion tasks in immersive computer games with an adapted eye-tracking interface. ACM Transactions on Accessible Computing, 5(1):2:1–2:33. DOI: 10.1145/2514856.

Vieira, C., Ferreira da Silva Pais-Vieira, C., Novais, J., and Perrotta, A. (2021). Serious game design and clinical improvement in physical rehabilitation: Systematic review. JMIR Serious Games, 9(3):e20066. DOI: 10.2196/20066.

Yuan, B., Folmer, E., and Harris Jr., F. C. (2011). Game accessibility: A survey. Universal Access in the Information Society, 10(1):81–100. DOI: 10.1007/s10209-010-0189-5.

Zhang, F., Bazarevsky, V., Vakunov, A., Tkachenka, A., Sung, G., Chang, C.-L., and Grundmann, M. (2020). Mediapipe hands: On-device real-time hand tracking. In CVPR Workshop on Computer Vision for Augmented and Virtual Reality. arXiv:2006.10214.