Sistema adaptativo para teleoperação de uma base móvel através de reconhecimento gestual

• Dieisson Martinelli UTFPR
• João Alberto Fabro UTFPR
• André Schneider de Oliveira UTFPR

DOI: https://doi.org/10.5753/wtdr_ctdr.2022.226834

Resumo

Este artigo apresenta o desenvolvimento de um sistema adaptativo para teleoperação de uma base móvel acoplada a um braço robótico com três graus de liberdade, através de captura de gestos apartir de uma câmera RGB. Este projeto utiliza o pipeline holístico do framework MediaPipe para capturar pontos 2D do corpo do operador através de imagens RGB e dois algoritmos são desenvolvidos através deste framework. O primeiro algoritmo é responsável por extrair características do operador que realiza o movimento solicitado para executar um determinado processo de movimento. O segundo algoritmo é responsável por utilizar os dados coletados do corpo do operador no momento do processo e identificar, por meio de classificação, a movimentação solicitada pelo operador. Após a classificação do movimento, é calculada a posição do ponto chave, que, por meio de técnicas propostas pelo algoritmo deste trabalho, resulta em um valor de 0 a 100 de ativação do movimento requerido. Este valor passa por um sistema de controle fuzzy, que emitirá o movimento do robô. Os testes são realizados com 20 operadores voluntários com o objetivo de seguir uma trajetória e recolher/entregar um objeto.

Palavras-chave: Framework MediaPipe, Teleoperação, Interface Humano Robô, ROS

Referências

Almeida, L., Lopes, E., Yalçinkaya, B., Martins, R., Lopes, A., Menezes, P., and Pires, G. (2019). Towards natural interaction in immersive reality with a cyber-glove. In 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC), pages 2653-2658. IEEE.

Christensen, S. L. H. I. (2020). Wavetofly: Control a uav using body gestures.

Fong, T. and Thorpe, C. (2001). Vehicle teleoperation interfaces. Autonomous robots, 11(1):9-18.

Galán, F., Nuttin, M., Lew, E., Ferrez, P. W., Vanacker, G., Philips, J., and Millán, J. d. R. (2008). A brain-actuated wheelchair: asynchronous and non-invasive brain-computer interfaces for continuous control of robots. Clinical neurophysiology, 119(9):2159- 2169.

Krishnasamy, B. (2020). Design of a new industrial proportional joystick manufactured with 3d printing.

Lanius (2021). tinyik. https://github.com/lanius/tinyik.

LLC, G. (2020a). Mediapipe. LLC, GOOGLE.

LLC, G. (2020b). Mediapipe holistic. LLC, GOOGLE.

Martinelli, D., Cerbaro, J., Fabro, J. A., de Oliveira, A. S., and Teixeira, M. A. S. (2020). Human-robot interface for remote control via iot communication using deep learning techniques for motion recognition. In 2020 Latin American Robotics Symposium (LARS), 2020 Brazilian Symposium on Robotics (SBR) and 2020 Workshop on Robotics in Education (WRE), pages 1-6. IEEE.

Martinelli, D., Sousa, A. L., Augusto, M. E., Kalempa, V. C., de Oliveira, A. S., Rohrich, R. F., and Teixeira, M. A. (2019). Remote control for mobile robots using gestures captured by the rgb camera and recognized by deep learning techniques. In 2019 Latin American Robotics Symposium (LARS), 2019 Brazilian Symposium on Robotics (SBR) and 2019 Workshop on Robotics in Education (WRE), pages 98-103. IEEE.

Qi, W., Ovur, S. E., Li, Z., Marzullo, A., and Song, R. (2021). Multi-sensor guided hand gesture recognition for a teleoperated robot using a recurrent neural network. IEEE Robotics and Automation Letters, 6(3):6039-6045.

YDlidar (2020). ydlidar ros. https://github.com/YDLIDAR/ydlidar_ros.

Zhang, W., Cheng, H., Zhao, L., Hao, L., Tao, M., and Xiang, C. (2019). A gesture-based teleoperation system for compliant robot motion. Applied Sciences, 9(24):5290.