Dynamic Sign Recognition in Brazilian Sign Language Through Convolutional Neural Networks

• João Paulo Moreira Rodrigues Unesc
• Ana Claudia Barbosa Unesc
• Luis Ricardo Fiera Unesc
• Marlon Oliveira Unesc

DOI: https://doi.org/10.5753/eniac.2025.13920

Abstract

Automatic recognition of Brazilian Sign Language (LIBRAS) is crucial for promoting inclusion and accessibility for deaf individuals. This study focuses on recognizing letters represented by dynamic signs, which involve temporal movements and remain a challenge for computational models. Five Convolutional Neural Network (CNN) architectures—AlexNet, DenseNet121, InceptionV3, ResNet18, and VGG16Net—were evaluated, with ResNet18 achieving the highest accuracy (74.29%) by effectively capturing complex features. Despite using simpler models compared to others in the literature, the results were relevant given the dataset limitations.

References

Amaral, L., Júnior, G. L. N., Vieira, T., and Vieira, T. (2019). Evaluating Deep Models for Dynamic Brazilian Sign Language Recognition. Springer International Publishing, Cham.

Brasil (2002). Lei nº 10.436, de 24 de abril de 2002. Diário Oficial [da] República Federativa do Brasil. Acesso em: 05 de maio de 2024.

Buttar, A., Ahmad, U., Gumaei, A., Assiri, A., Akbar, M., and Alkhamees, B. (2023). Deep learning in sign language recognition: A hybrid approach for the recognition of static and dynamic signs. Acesso em: 05 de maio de 2024.

Cristiano, A. (2024). Os cinco parâmetros da libras. Acesso em: 13 de maio de 2025.

Das, S., Biswas, S. K., and Purkayastha, B. (2023). A deep sign language recognition system for indian sign language. Acesso em: 01 de jun. de 2025.

de Educação de Surdos, I. N. (2024). Dicionário de libras. Acesso em: 21 de out. de 2024.

de Pernambuco, U. F. (2024). Libras ufpe: Sistema de busca por sinais. Acesso em: 21 de out. de 2024.

Goodfellow, I., Bengio, Y., and Courville, A. (2016). Deep Learning. MIT Press.

Grossi, V. S. and Ferreira, B. S. (2024). Aplicação de técnicas de reconhecimento de imagens na classificação de sinais em libras (linguagem brasileira de sinais) para tradução em texto. Acesso em: 13 de maio de 2025.

Haykin, S. (2001). Redes Neurais: Princípios e Prática. Bookman, Porto Alegre.

Kingma, D. P. and Ba, J. (2017). Adam: A method for stochastic optimization. Acesso em: 26 de maio de 2025.

LeCun, Y., Kavukcuoglu, K., and Farabet, C. (2010). Convolutional Networks and Applications in Vision. IEEE, Nano-Bio Circuit Fabr. Syst.

Loshchilov, I. and Hutter, F. (2019). Decoupled weight decay regularization. Acesso em: 26 de maio de 2025.

Moeller, M. P. (2000). Early intervention and language development in children who are deaf and hard of hearing. Acesso em 1 jun. 2025.

Neto, G. M. R. (2018). Reconhecimento de língua de sinais baseado em redes neurais convolucionais 3d.

Oliveira, M. (2018). Handshape recognition using principal component analysis and convolutional neural networks applied to sign language.

PyTorch (2025). Crossentropyloss. Acesso em: 05 de maio de 2025.

Rezende, T. M. (2021). Reconhecimento automático de sinais da libras: Desenvolvimento da base de dados minds-libras e modelos de redes convolucionais. Master’s thesis, Universidade Federal de Minas Gerais, Belo Horizonte. Acesso em: 05 de maio de 2024.

Salazar, J. J., Garland, L., Ochoa, J., and Pyrcz, M. J. (2022). Fair train-test split in machine learning: Mitigating spatial autocorrelation for improved prediction accuracy. Journal of Petroleum Science and Engineering, 209:109885. Acesso em: 22 de maio de 2025.

Shotcut (2025). Shotcut video editor. Acesso em: 14 de abr. de 2025.