Desenvolvimento de um Sistema de Visão para Detecção de Objetos Embarcado em um Braço Robótico

• Igor F. Soares UEFS
• Anfranserai M. Dias UEFS

DOI: https://doi.org/10.5753/erbase.2024.4511

Resumo

O presente trabalho descreve o desenvolvimento de um sistema de visão para detecção e mensuração de objetos a ser embarcado em um braço robótico, utilizando o módulo ESP32-CAM na aquisição de imagens e um sensor de distância. Foi aplicada a técnica de transferência de aprendizado com o modelo EfficientDet-Lite para a detecção de objetos. Além disso, foi desenvolvido um modelo de mensuração de objetos a partir das imagens, que relaciona pixels a dimensões reais do objeto por meio de regressão linear. O sistema foi treinado com imagens de peças de lego, obtendo um AP de 81,92% no conjunto de validação e 61,86% conjunto de teste. Por sua vez, o modelo de mensuração apresentou RMSE menor que 10 mm na medição do tamanho de objetos a distâncias de até 340 mm, com queda de desempenho em distâncias maiores. Esta limitação é adequada, pois o manipulador usado no projeto tem o alcance máximo de 390 mm.

Referências

Ali, M. H., Aizat, K., Yerkhan, K., Zhandos, T., and Anuar, O. (2018). Vision-based robot manipulator for industrial applications. Procedia computer science, 133:205–212.

COCO (2015). Detection evaluation metrics. [link]. [Online]. Acesso em 17 de agosto de 2023.

Kamal, M. U. A., Suciati, N., and Hidayati, S. C. (2021). Calculation of handwriting mathematics expressions on mobile devices using efficientdet-lite0 and reverse polish notation. The Journal on Machine Learning and Computational Intelligence (JMLCI), 1(1).

Matarić, M. J. (2014). Introdução à robótica. Editora Blucher.

Mehendale, N. (2022). Object detection using esp 32 cam. SSRN Electronic Journal.

Rice, C., Taylor, J., Widom, J., Zegart, A., and Lin, H. (2023). The Stanford Emerging Technology Review 2023: A Report on Ten Key Technologies and Their Policy Implications. Stanford University.

Silva, G. R. (2018). Detecção de objetos em imagens utilizando técnicas de aprendizagem profunda. Trabalho de Conclusão de Curso. Universidade Federal de Santa Catarina, Florianópolis.

Song, Q., Li, S., Bai, Q., Yang, J., Zhang, X., Li, Z., and Duan, Z. (2021). Object detection method for grasping robot based on improved yolov5. Micromachines, 12(11):1273.

Szeliski, R. (2011). Computer Vision: Algorithms and Applications. Springer London, 1 edition.

Tan, M., Pang, R., and Le, Q. V. (2020). Efficientdet: Scalable and Efficient Object Detection.

Yahboom (2024). Dofbot-jetson repository. [link]. Acesso em 30 de setembro de 2024.