Convolutional Neural Networks for Sign Language Detection and Interpretation to Assist Individuals with Hearing Impairment

• Gustavo Antonio dos Santos Fontana Unesc
• Marlon Oliveira Unesc
• Valter Blauth Junior Unesc
• Merisandra C. Mattos Unesc
• Sérgio Coral Unesc

DOI: https://doi.org/10.5753/eniac.2025.14000

Resumo

Este artigo apresenta um protótipo web para identificação e classificação de sinais do alfabeto manual da Língua Brasileira de Sinais (LIBRAS), utilizando redes neurais convolucionais treinadas com aprendizado supervisionado e otimizadas com Stochastic Gradient Descent. A solução emprega TensorFlow, Keras e MediaPipe para detecção em tempo real, com imagens RGB de 64x64 píxeis. O modelo alcançou 98,67% de acurácia na validação, com desempenho semelhante no teste. A análise por classe indicou 100% de precisão em 12 das 21 letras. Em testes com webcam, a acurácia variou entre 50% e 100% conforme o cenário. Os resultados demonstram o potencial do sistema em aplicações acessíveis no navegador.

Referências

Albino, M. d. S. (2022). Reconhecimento de linguagem de sinais utilizando o algoritmo Dynamic Time Warping para auxiliar surdos.

Araújo, A. d. O. (2023). 2DCNN: Reconhecimento de sinais de libras utilizando uma rede neural convolucional 2D.

Asritha, K. R. and Soundari, A. G. (2023). Animal Collision Detection in Real Time to Prevent Accident using KNN Classifier in comparison with Stochastic Gradient Descent, volume 6. IEEE.

Barral, J. and Rumjanek, V. M. (2018). Empréstimos linguísticos para sinais científicos na área de Biociências. Number 49.

Bishop, C. M. and Nasrabadi, N. M. (2006). Pattern recognition and machine learning, volume 4. Springer.

Chollet, F. (2021). Deep learning with Python. simon and schuster.

da Silva, E. P., Costa, P. D. P., Kumada, K. M. O., and De Martino, J. M. (2020). Silfa: Sign language facial action database for the development of assistive technologies for the deaf. IEEE.

Fan, Y. (2023). The Improvements for the Hands Gesture Recognition Based on the Mediapipe. IEEE.

Geron, A. (2019). Hands-on machine learning with scikit-learn, keras & tensorflow.

Goodfellow, I., Bengio, Y., and Courville, A. (2016). Deep Learning. MIT Press.

Jain, E., Kapoor, S., and Singh, M. (2024). Advanced Chicken Disease Detection with Keras and TensorFlow Deep Learning Models. IEEE.

Junior, A. K., dos Santos, N., and Penteado, F. C. (2022). As pessoas surdas, as organizações e o compliance, volume 15.

Kuzenkov, S. (2024). The Possibilities of Using Artificial Intelligence Technologies in Education and Science. IEEE.

Li, D., Rodriguez, C., Yu, X., and Li, H. (2020). Word-level deep sign language recognition from video: A new large-scale dataset and methods comparison. IEEE.

Oliveira, E. F., Takada, K. Y. P., Santos, O. A. A. K., and Brocco, R. M. (2023). Identificação do uso de cinto de segurança em crianças em veículos de passeio. Universidade Presbiteriana Mackenzie.

Rodrigues-Moura, S. and Desidério, R. (2023). Ensino de física e educação para surdos no Brasil: uma revisão sistemática de literatura, volume 16.

Ruder, S. (2017). An overview of gradient descent optimization algorithms.

Shorten, C. and Khoshgoftaar, T. M. (2019). A survey on image data augmentation for deep learning. Journal of big data, 6(1):1–48.

Silva, L. d. (2020). Aquisição de segunda língua: o estado da arte da Libras, volume 64. SciELO Brasil.

Souza, R. F. d. et al. (2023). Camlibras: ferramenta complementar e acessível ao ensino de LIBRAS. Instituto Federal Goiano.

Szeliski, R. (2022). Computer vision: algorithms and applications. Springer Nature.

UÇar, M. K., Nour, M., Sindi, H., and Polat, K. (2020). The effect of training and testing process on machine learning in biomedical datasets. Mathematical Problems in Engineering, 2020(1):2836236.

Yeboah, D., Sanoussi, M. S. A., and Agordzo, G. K. (2021). Image Classification Using TensorFlow GPU. IEEE.