Aprendizado por Reforço Profundo para Navegação sem Mapa de um Veículo Híbrido Aéreo-Aquático

• Ricardo B. Grando FURG
• Paulo L. J. Drews-Jr FURG

DOI: https://doi.org/10.5753/ctd.2022.222936

Resumo

A busca pelo desenvolvimento de novas tecnologias impulsa grandes desafios. Exemplo disto refere-se ao desenvolvimento de tarefas correlatas aos robôs móveis híbridos. In order to study and overcome these challenges, the present work seeks to establish an approach based on Deep Reinforcement Learning (Deep-RL) para navegação autônoma de um tipo específico de robô móvel híbrido: um Veículo Híbrido Tipo Ar-Água (HUAUV). A abordagem proposta utiliza somente informação de sensores de distância e de informações relativas à localização do veículo para realizar a navegação. Resultados da nossa abordagem mostram que é possível realizar navegação sem mapa do início ao fim, sem que para isso fosse necessário utilizar nenhum tipo de operação manual, somente os agentes baseados em Deep-RL. Para tanto, a navegação dos agentes treinados é comparada com a navegação sem mapa realizada por um algoritmo BUG2, uma implementação moderna de algoritmo clássico para o problema de navegação sem mapas que não utiliza aprendizado. Os métodos propostos são baseados em duas abordagens do estado da arte para navegação sem mapa de robôs terrestres: Política de Gradiente Determinístico Profundo (DDPG) e Soft Actor-Critic (SAC).

Palavras-chave: Aprendizado por Reforço Profundo, Navegação Sem Mapa, Robô Autônomo, Veículo Híbrido

Referências

Cerqueira, R., Trocoli, T., Neves, G., Oliveira, L., Joyeux, S., Albiez, J., and Center, R. I. (2016). Custom shader and 3d rendering for computationally efficient sonar simulation. In SIBGRAPI.

Drews, P. L., Neto, A. A., and Campos, M. F. (2014). Hybrid unmanned aerial underwater vehicle: Modeling and simulation. In IEEE/RSJ IROS, pages 4637–4642.

Haarnoja, T., Zhou, A., Abbeel, P., and Levine, S. (2018). Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. arXiv preprint arXiv:1801.01290.

Horn, A. C., Pinheiro, P. M., Grando, R. B., da Silva, C. B., Neto, A. A., and Drews-Jr, P. L. (2020). A novel concept for hybrid unmanned aerial underwater vehicles focused on aquatic performance. In IEEE LARS/SBR, pages 1–6.

Horn, A. C., Pinheiro, P. M., Silva, C. B., Neto, A. A., and Drews-Jr, P. L. (2019). A study on configuration of propellers for multirotor-like hybrid aerial-aquatic vehicles. In ICAR, pages 173–178.

Li, Y. (2017). Deep reinforcement learning: An overview. arXiv preprint arXiv:1701.07274.

Lillicrap, T. P., Hunt, J. J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., Silver, D., and Wierstra, D. (2015). Continuous control with deep reinforcement learning. arXiv preprint arXiv:1509.02971.

Marino, R., Mastrogiovanni, F., Sgorbissa, A., and Zaccaria, R. (2016). A minimalistic quadrotor navigation strategy for indoor multi-floor scenarios. In Intelligent Autonomous Systems 13, pages 1561–1570. Springer.

Mercado, D., Maia, M., and Diez, F. J. (2019). Aerial-underwater systems, a new paradigm in unmanned vehicles. Journal of Intelligent & Robotic Systems, 95(1):229–238.

Srinivas, A., Laskin, M., and Abbeel, P. (2020). Curl: Contrastive unsupervised representations for reinforcement learning. arXiv preprint arXiv:2004.04136.

Tai, L., Paolo, G., and Liu, M. (2017). Virtual-to-real deep reinforcement learning: Continuous control of mobile robots for mapless navigation. In IEEE/RSJ IROS, pages 31–36.

Zhu, K. and Zhang, T. (2021). Deep reinforcement learning based mobile robot navigation: A review. Tsinghua Science and Technology, 26(5):674–691.