Detection and localization of mobile robots in intelligent spaces using artificial neural networks
Resumo
The increasing impact of technology on daily and industrial activities, with a special focus on mobile robotics, has become increasingly evident in scenarios where collaboration between humans and machines is essential for the well-being of society. This work proposes the development of a detection and position reconstruction method for mobile robots in intelligent spaces with multiple cameras, using convolutional neural networks instead of physical markers. This aims to provide an alternative means of robot localization and monitoring, with the goal of generating precise position and orientation data, eliminating the need to rely on markers for this purpose. The article describes the localization method using convolutional neural networks and includes location error experiments to validate the proposed approach.
Palavras-chave:
mobile robotics, intelligent space, detection, convolutional neural networks
Referências
Almeida, C. M. d. S, “A importância da aprendizagem da robótica no desenvolvimento do pensamento computacional: um estudo com alunos do 4º ano,”, Tese (Doutorado) — UNIVERSIDADE DE LISBOA, 2015.
Cotta, W.A.A.; Lopes, S.I.; Vassallo, R.F. Towards the Cognitive Factory in Industry 5.0: From Concept to Implementation. Smart Cities 2023, 6, 1901-1921. https://doi.org/10.3390/smartcities6040088
Rampinelli, M. et al. An intelligent space for mobile robot localization using a multi-camera system. Sensors, v. 14, n. 8, p. 15039–15064, 2014. ISSN 1424-8220.
MILANO, D. de; HONORATO, L. B. Visao computacional. Faculdade de Tecnologia, Universidade Estadual de Campinas, 2010
Cotta, W. A. A. et al. Mobilysa-sistema de localização e controle do cão-guia robô lysa para ambientes internos baseado em visão computacional. In: SBC. Anais Estendidos do XXV Simpósio Brasileiro de Sistemas Multimídia e Web. [S.l.], 2019. p. 159–162
Carmo, A. do et al. Uso de um Espaço Inteligente baseado em visão computacional para o controle de formação de robôs móveis. In: Anais do XII Simpósio Brasileiro de Computação Ubíqua e Pervasiva. Porto Alegre, RS, Brasil: SBC, 2020. p. 171–180. ISSN 2595-6183. Disponível em: [link].
Izabel, V. et al. Implantação do sistema mobilysa em espaços inteligentes programáveis. In: Anais do XIV Simpósio Brasileiro de Computação Ubíqua e Pervasiva. Porto Alegre, RS, Brasil: SBC, 2022. p. 61–70. ISSN 2595-6183. Disponível em: [link].
Lecun, Y.; Kavukcuoglu, K.; Farabet, C. Convolutional networks and applications in vision. In: Proceedings of 2010 IEEE International Symposium on Circuits and Systems. [S.l.: s.n.], 2010. p. 253–256.
G. d. S. Santos, E. Cardoso, and M. A. d. Reis, “Localização de robôs móveis em ambiente internos usando marcos fiduciais,” in Anais do V Simpósio Internacional de Inovação e Tecnologia., 2019, pp. 226–233.
Foroughi, F.; Chen, Z.; Wang, J. A cnn-based system for mobile robot navigation in indoor environments via visual localization with a small dataset. World Electric Vehicle Journal, v. 12, n. 3, 2021. ISSN 2032-6653. Disponível em: [link].
Carmo, A. P. do. Uma Arquitetura de Microsserviços centrada na Observabilidade Multinível para Espaços Inteligentes baseados em Visão Computacional. Tese (Doutorado) — Universidade Federal do Espírito Santo Centro Tecnológico - Departamento de Engenharia Elétrica Programa de Pós-Graduação em Engenharia Elétrica, Janeiro 2021.
Nadareishvili, I., Mitra, R., McLarty, M., and Amundsen, M. (2016). Microservice architecture: aligning principles, practices, and culture. ”O’Reilly Media, Inc.”.
Zhang, Z. (2000). A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence, 22(11):1330–1334.
Queiroz, F. et al Estimating Tridimensional Coordinates of Skeleton Joints in a Multicamera System. In: Anais do XIV Workshop de Visão Computacional [S.1.:s.n,], 2018
Sampathkrishna, A. (2022). ArUco Maker based localization and Node graph approach to mapping. arXiv preprint arXiv:2208.09355.
Redmon, J. et al. You only look once: Unified, real-time object detection. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). [S.l.: s.n.], 2016.
Géron, A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O’Reilly Media, Inc., 2019. Disponível em: [link].
Arjovsky, M., Bottou, L., Gulrajani, I., Lopez-Paz, D. (2019). Invariant risk minimization. arXiv preprint arXiv:1907.02893.
Cotta, W.A.A.; Lopes, S.I.; Vassallo, R.F. Towards the Cognitive Factory in Industry 5.0: From Concept to Implementation. Smart Cities 2023, 6, 1901-1921. https://doi.org/10.3390/smartcities6040088
Rampinelli, M. et al. An intelligent space for mobile robot localization using a multi-camera system. Sensors, v. 14, n. 8, p. 15039–15064, 2014. ISSN 1424-8220.
MILANO, D. de; HONORATO, L. B. Visao computacional. Faculdade de Tecnologia, Universidade Estadual de Campinas, 2010
Cotta, W. A. A. et al. Mobilysa-sistema de localização e controle do cão-guia robô lysa para ambientes internos baseado em visão computacional. In: SBC. Anais Estendidos do XXV Simpósio Brasileiro de Sistemas Multimídia e Web. [S.l.], 2019. p. 159–162
Carmo, A. do et al. Uso de um Espaço Inteligente baseado em visão computacional para o controle de formação de robôs móveis. In: Anais do XII Simpósio Brasileiro de Computação Ubíqua e Pervasiva. Porto Alegre, RS, Brasil: SBC, 2020. p. 171–180. ISSN 2595-6183. Disponível em: [link].
Izabel, V. et al. Implantação do sistema mobilysa em espaços inteligentes programáveis. In: Anais do XIV Simpósio Brasileiro de Computação Ubíqua e Pervasiva. Porto Alegre, RS, Brasil: SBC, 2022. p. 61–70. ISSN 2595-6183. Disponível em: [link].
Lecun, Y.; Kavukcuoglu, K.; Farabet, C. Convolutional networks and applications in vision. In: Proceedings of 2010 IEEE International Symposium on Circuits and Systems. [S.l.: s.n.], 2010. p. 253–256.
G. d. S. Santos, E. Cardoso, and M. A. d. Reis, “Localização de robôs móveis em ambiente internos usando marcos fiduciais,” in Anais do V Simpósio Internacional de Inovação e Tecnologia., 2019, pp. 226–233.
Foroughi, F.; Chen, Z.; Wang, J. A cnn-based system for mobile robot navigation in indoor environments via visual localization with a small dataset. World Electric Vehicle Journal, v. 12, n. 3, 2021. ISSN 2032-6653. Disponível em: [link].
Carmo, A. P. do. Uma Arquitetura de Microsserviços centrada na Observabilidade Multinível para Espaços Inteligentes baseados em Visão Computacional. Tese (Doutorado) — Universidade Federal do Espírito Santo Centro Tecnológico - Departamento de Engenharia Elétrica Programa de Pós-Graduação em Engenharia Elétrica, Janeiro 2021.
Nadareishvili, I., Mitra, R., McLarty, M., and Amundsen, M. (2016). Microservice architecture: aligning principles, practices, and culture. ”O’Reilly Media, Inc.”.
Zhang, Z. (2000). A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence, 22(11):1330–1334.
Queiroz, F. et al Estimating Tridimensional Coordinates of Skeleton Joints in a Multicamera System. In: Anais do XIV Workshop de Visão Computacional [S.1.:s.n,], 2018
Sampathkrishna, A. (2022). ArUco Maker based localization and Node graph approach to mapping. arXiv preprint arXiv:2208.09355.
Redmon, J. et al. You only look once: Unified, real-time object detection. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). [S.l.: s.n.], 2016.
Géron, A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O’Reilly Media, Inc., 2019. Disponível em: [link].
Arjovsky, M., Bottou, L., Gulrajani, I., Lopez-Paz, D. (2019). Invariant risk minimization. arXiv preprint arXiv:1907.02893.
Publicado
13/11/2023
Como Citar
MENINES, Mateus Sobrinho; ENTRINGER, Antonio Marcos Mutz; SILVA, Leornador de Assis; SÁ, Fabricio Bertolini de; IZABEL, Vinícios Hernech; VASSALLO, Raquel Frizera.
Detection and localization of mobile robots in intelligent spaces using artificial neural networks. In: WORKSHOP DE VISÃO COMPUTACIONAL (WVC), 18. , 2023, São Bernardo do Campo/SP.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2023
.
p. 72-77.
DOI: https://doi.org/10.5753/wvc.2023.27535.
