Plataforma Colaborativa para Validação de Dados em Reconhecimento de Sinais

• George Henrique Santos Universidade do Estado de Santa Catarina (UDESC)
• Carla Diacui Medeiros Berkenbrock Universidade do Estado de Santa Catarina (UDESC)
• Fabiola Sucupira Ferreira Sell Universidade do Estado de Santa Catarina (UDESC)

DOI: https://doi.org/10.5753/sbsc_estendido.2026.20672

Resumo

A falta de acessibilidade para a comunidade surda é agravada pelo gargalo crítico de dados para treinar sistemas de reconhecimento de Libras. O problema central reside no fato de que as bases atuais dependem de especialistas, o que pode gerar overfitting em cenários reais e não contemplar as variações naturais de usuários cotidianos. O objetivo deste desenho de pesquisa é validar a hipótese de que o treinamento com dados colaborativos em larga escala, ainda que ruidosos, pode atingir ou superar a robustez de modelos treinados puramente com bases especialistas. Como solução, propõe-se um ecossistema colaborativo onde voluntários reproduzem sinais de referência, fornecendo a variabilidade real necessária. O planejamento integra o uso de Aprendizado por Reforço com Feedback Humano (RLHF) para refinamento contínuo dos modelos a partir da validação humana e testes dos algoritmos em um cenário real.

Palavras-chave: Reconhecimento de sinais, Libras, Sistemas colaborativos, Aprendizado por reforço com feedback humano (RLHF), Visão computacional

Referências

Alves, C. E. G. R., de Assis Boldt, F., and Paixão, T. M. (2024). Enhancing Brazilian Sign Language recognition through skeleton image representation. arXiv preprint arXiv:2404.19148.

BRASIL (2002). Lei nº 10.436, de 24 de abril de 2002. Dispõe sobre a Língua Brasileira de Sinais - Libras e dá outras providências. Brasil, Brasília, DF.

da Silva Almeida, A. C., Rezende, T. M., and Almeida, S. G. M. (2022). Ampliação da base MINDS-Libras: um estudo de aplicação de técnicas de aumento sintético de dados e da inclusão de novos conjuntos de vídeos disponíveis na literatura. In Anais do XXIV Congresso Brasileiro de Automática (CBA), Ouro Preto, MG. SBA.

de Freitas, L. E. R. (2025). Aplicação de metodologias Ágeis no desenvolvimento de um produto mínimo viável acessível para conectar pessoas com deficiência a prestadores de serviços.

Howard, A. G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., Andreetto, M., and Adam, H. (2017). MobileNets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861.

INES (2011). Dicionário da Língua Brasileira de Sinais. Instituto Nacional de Educação de Surdos.

Rezende, T. M., Almeida, S. G. M., and Guimarães, F. G. (2021). Development and validation of a Brazilian sign language database for human gesture recognition. Neural Computing and Applications, 33:10449–10467.

Sutton, R. S. and Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press, Cambridge, MA, 2 edition.

Tao, T., Zhao, Y., Liu, T., and Zhu, J. (2024). Sign language recognition: A comprehensive review of traditional and deep learning approaches, datasets, and challenges. IEEE Access, 12:75034–75060.