Tecnologia assistiva para reconhecimento de cartas de baralho utilizando aprendizado profundo

• Samuel Alves dos Santos IF Goiano
• Allan Duque dos Santos IF Goiano
• Junio Cesar de Lima IF Goiano
• Fabrízzio Alphonsus Alves de Melo Nunes Soares UFG
• Gabriel da Silva Vieira IF Goiano

DOI: https://doi.org/10.5753/sibgrapi.est.2019.8331

Resumo

Apresentamos neste trabalho uma aplicação inclusiva que permite pessoas com deficiência visual interagir socialmente com outros indivíduos em atividades de lazer, como jogos que envolvam carteado. Para isso, foi construído um modelo generalizável, treinado para detecção e reconhecimento de cartas de baralho através do aprendizado de máquina profundo. Neste contexto, foi projetado e implementado um sistema denominado Smart Assistant, baseado na API de detecção de objetos do TensorFlow. Em um local previamente definido, as cartas são colocadas dentro do campo de visão de uma câmera digital para que possam ser detectadas e classificadas em tempo real. A API SAPI, de sintetização de texto para fala (TTS), é usada para converter os rótulos das cartas detectadas (em formato de texto) em saída de áudio. Os experimentos iniciais mostram que em situações reais de jogo, a aplicação consegue identificar e classificar cartas com alta assertividade.

Palavras-chave: Tecnologia assistiva, Aprendizado profundo, Redes Neurais

Referências

H. Jabnoun, F. Benzarti, and H. Amiri :“Object detection and identification for blind people in video scene”, in 2015 15th International Conference on Intelligent Systems Design and Applications (ISDA),2015.

LOPES, Rafael Alves da Silva; BRAGA, Victor Gueresi de Mello. Um sistema para o aprendizado automático de jogos eletônicos baseado em redes neurais e Q-Learning usando interface natural. 2017. xii, 45 f., il. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação)—Universidade de Brasília, Brasília, 2017.

C. C. Kulpa, F. G. Teixeira, and R. P. d. Silva: “Um modelo de cores na usabilidade das interfaces computacionais para os deficientes de baixa visão”, Design & tecnologia [recurso eletrônico]. Porto Alegre, RS. Vol. 1, 2010.

J. S. Ghellere:“Detecção de objetos em imagens por meio da combinação de descritores locais e classificadores”, Universidade Tecnológica Federal do Paraná, 2015.

A. Nishajith, J. Nivedha, S. S. Nair, and J. Mohammed Shaffi: “Smart cap - wearable visual guidance system for blind” ,in 2018 International Conference on Inventive Research in Computing Applications (ICIRCA),2018.

M. Poggi and S. Mattoccia: “A wearable mobility aid for the visually impaired based on embedded 3d vision and deep learning”, in 2016 IEEE Symposium on Computers and Communication (ISCC), 2016.

Geoff Hollinger & Nick Ward : "Implementation of a Card Recognition System using Computer Vision Techniques",Submitted to IEEE Paper Contest: March 10, 2004

W. Liu, S. Liao, and W. Hu: “Perceiving motion from dynamic memory for vehicle detection in surveillance videos”, IEEE Transactions on Circuits and Systems for Video Technology, 2019

J. Guo, J. Lu, Y. Qu, and C. Li: “Traffic-sign spotting in the wild via deep features”, in 2018 IEEE Intelligent Vehicles Symposium (IV), 2018

M. Zanfir, A. Popa, A. Zanfir, and C. Sminchisescu: “Human appearance transfer”, in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018

NORBERTO PIRES, J. Robot-by-voice: "Experiments on commanding an industrial robot using the human voice. Industrial Robot",An International Journal, 2005.

R. Jain and S. Saxena: “Voice automated mobile robot,” International Journal of Computer Applications, 2011.

MELO, Marcelo Souza de: "Dual scaling: uma implementação em GPU com o TensorFlow", TSC - Trabalho de Conclusão de Curso, 2018.