LínguaQuiz: Integração de Reconhecimento de Imagens e LLM em um Jogo para Terapia de Fala

• Pedro Henrique Brandão Oliveira Bastos UEFS
• Victor Travassos Sarinho UEFS

DOI: https://doi.org/10.5753/sbgames_estendido.2025.9891

Resumo

Introdução: O uso de jogos digitais como ferramenta complementar em processos terapêuticos tem se mostrado promissor, especialmente no campo da fonoaudiologia. Objetivo: Este trabalho apresenta o desenvolvimento do jogo LínguaQuiz, projetado para auxiliar na reabilitação de movimentos orais por meio da captura e análise de imagens usando um Modelo de Linguagem de Grande Escala (LLM). Metodologia ou Etapas: O jogo utiliza a câmera do dispositivo para capturar imagens dos movimentos da língua realizados pelo usuário, que são processadas por um modelo de LLM visual. A depender dos movimentos da língua realizados pelo jogador, ações do jogador são interpretadas e respectivos comandos são enviados para um jogo estilo quiz, permitindo que as sessões terapêuticas possam ser realizadas de forma gamificada. Resultados: Espera-se que o LínguaQuiz contribua para tornar os exercícios de reabilitação fonoaudiológica mais dinâmicos, motivadores e eficazes, ampliando as possibilidades de apoio ao trabalho clínico.

Palavras-chave: Jogo digital, Reconhecimento de imagens, Reabilitação fonoaudiológica, LLM visual, Gameterapia

Referências

Schmid, M. (2009). Reinforcing motor re-training and rehabilitation through games: a machine-learning perspective. Frontiers in neuroengineering, 2:1016.

Sousa, A. d. S. et al. (2011). Serious games para a fonoaudiologia: uma abordagem voltada à terapia em motricidade orofacial.

Weiss, P. L., Rand, D., Katz, N., e Kizony, R. (2004). Video capture virtual reality as a flexible and effective rehabilitation tool. Journal of neuroengineering and rehabilitation, 1:1–12.