Dynamic Sign Recognition in Brazilian Sign Language Through Convolutional Neural Networks

• João Paulo Moreira Rodrigues Unesc
• Ana Claudia Barbosa Unesc
• Luis Ricardo Fiera Unesc
• Marlon Oliveira Unesc

DOI: https://doi.org/10.5753/eniac.2025.13920

Resumo

O reconhecimento automático da Língua Brasileira de Sinais (LIBRAS) é fundamental para promover a inclusão e a acessibilidade de pessoas surdas. Este estudo foca no reconhecimento de letras representadas por sinais dinâmicos, que envolvem movimentos temporais e ainda representam um desafio para os modelos computacionais. Foram avaliadas cinco arquiteturas de Redes Neurais Convolucionais (CNNs) — AlexNet, DenseNet121, InceptionV3, ResNet18 e VGG16Net — sendo que a ResNet18 obteve a maior acurácia (74,29%), destacando-se na captura de características complexas. Apesar do uso de modelos mais simples em comparação a outros presentes na literatura, os resultados foram relevantes, considerando as limitações do conjunto de dados.

Referências

Amaral, L., Júnior, G. L. N., Vieira, T., and Vieira, T. (2019). Evaluating Deep Models for Dynamic Brazilian Sign Language Recognition. Springer International Publishing, Cham.

Brasil (2002). Lei nº 10.436, de 24 de abril de 2002. Diário Oficial [da] República Federativa do Brasil. Acesso em: 05 de maio de 2024.

Buttar, A., Ahmad, U., Gumaei, A., Assiri, A., Akbar, M., and Alkhamees, B. (2023). Deep learning in sign language recognition: A hybrid approach for the recognition of static and dynamic signs. Acesso em: 05 de maio de 2024.

Cristiano, A. (2024). Os cinco parâmetros da libras. Acesso em: 13 de maio de 2025.

Das, S., Biswas, S. K., and Purkayastha, B. (2023). A deep sign language recognition system for indian sign language. Acesso em: 01 de jun. de 2025.

de Educação de Surdos, I. N. (2024). Dicionário de libras. Acesso em: 21 de out. de 2024.

de Pernambuco, U. F. (2024). Libras ufpe: Sistema de busca por sinais. Acesso em: 21 de out. de 2024.

Goodfellow, I., Bengio, Y., and Courville, A. (2016). Deep Learning. MIT Press.

Grossi, V. S. and Ferreira, B. S. (2024). Aplicação de técnicas de reconhecimento de imagens na classificação de sinais em libras (linguagem brasileira de sinais) para tradução em texto. Acesso em: 13 de maio de 2025.

Haykin, S. (2001). Redes Neurais: Princípios e Prática. Bookman, Porto Alegre.

Kingma, D. P. and Ba, J. (2017). Adam: A method for stochastic optimization. Acesso em: 26 de maio de 2025.

LeCun, Y., Kavukcuoglu, K., and Farabet, C. (2010). Convolutional Networks and Applications in Vision. IEEE, Nano-Bio Circuit Fabr. Syst.

Loshchilov, I. and Hutter, F. (2019). Decoupled weight decay regularization. Acesso em: 26 de maio de 2025.

Moeller, M. P. (2000). Early intervention and language development in children who are deaf and hard of hearing. Acesso em 1 jun. 2025.

Neto, G. M. R. (2018). Reconhecimento de língua de sinais baseado em redes neurais convolucionais 3d.

Oliveira, M. (2018). Handshape recognition using principal component analysis and convolutional neural networks applied to sign language.

PyTorch (2025). Crossentropyloss. Acesso em: 05 de maio de 2025.

Rezende, T. M. (2021). Reconhecimento automático de sinais da libras: Desenvolvimento da base de dados minds-libras e modelos de redes convolucionais. Master’s thesis, Universidade Federal de Minas Gerais, Belo Horizonte. Acesso em: 05 de maio de 2024.

Salazar, J. J., Garland, L., Ochoa, J., and Pyrcz, M. J. (2022). Fair train-test split in machine learning: Mitigating spatial autocorrelation for improved prediction accuracy. Journal of Petroleum Science and Engineering, 209:109885. Acesso em: 22 de maio de 2025.

Shotcut (2025). Shotcut video editor. Acesso em: 14 de abr. de 2025.