Robustness Analysis of Deep Reinforcement Learning Agents Under Visual Perturbations
Resumo
Aprendizado por reforço é um dos principais paradigmas de aprendizado de máquina para resolver problemas onde decisões sequenciais precisam ser tomadas, como o controle de robôs e jogos eletrônicos. O surgimento de aprendizado por reforço acoplado a redes neurais profundas (deep reinforcement learning) permitiu solucionar problemas de grande complexidade nunca antes resolvidos. Neste contexto, uma das principais arquiteturas é a Deep Q-Network (DQN), que generaliza o algoritmo clássico de Q-learning utilizando redes neurais. Entretanto, a generalização de um modelo treinado para outros ambientes ainda é um desafio. Este trabalho avalia o impacto de diferentes perturbações visuais em um agente DQN no jogo Pong, com experimentos adicionais em Boxing e Space Invaders. Resultados indicam que o agente consegue tolerar certas perturbações, mas seu desempenho cai abruptamente quando as perturbações aumentam, indicando uma alta sensibilidade às perturbações. Mostramos ainda que um agente treinado em um ambiente com perturbação pode ter alto desempenho, mas ao ser avaliado no jogo sem perturbações seu desempenho é muito baixo, indicando a fragilidade da DQN em aprender a jogar.
Referências
Hendrycks, D. and Dietterich, T. G. (2019). Benchmarking neural network robustness to common corruptions and perturbations. CoRR, abs/1903.12261.
Huang, S., Papernot, N., Goodfellow, I. J., Duan, Y., and Abbeel, P. (2017). Adversarial attacks on neural network policies. In International Conference on Learning Representations (ICLR) Workshop Track.
Li, Q., Shen, L., Guo, S., and Lai, Z. (2020). Wavelet integrated cnns for noise-robust image classification. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 7243–7252.
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., and Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540):529–533.
Raffin, A., Hill, A., Gleave, A., Kanervisto, A., Ernestus, M., and Dormann, N. (2021). Stable-baselines3: Reliable reinforcement learning implementations. Journal of Machine Learning Research, 22(268):1–8.
Su, J., Vargas, D. V., and Sakurai, K. (2019). One pixel attack for fooling deep neural networks. IEEE Transactions on Evolutionary Computation, 23(5):828–841.
Sutton, R. S. and Barto, A. G. (2018). Reinforcement Learning: An Introduction. The MIT Press, second edition.
Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., and Fergus, R. (2013). Intriguing properties of neural networks. arXiv preprint arXiv:1312.6199.
Towers, M., Kwiatkowski, A., Balis, J., De Cola, G., Deleu, T., Goulão, M., Andreas, K., Krimmel, M., KG, A., Perez-Vicente, R., Terry, J., Pierré, A., Schulhoff, S., Tai, J. J., Tan, H., and Younis, O. G. (2025). Gymnasium: A standard interface for reinforcement learning environments. In Advances in Neural Information Processing Systems, volume 38.
Zhang, P., Cheng, G., Lang, C., Xie, X., and Han, J. (2025). Nirnet: Noise incentive robust network in remote sensing object detection under cloud corruption. IEEE Transactions on Geoscience and Remote Sensing, 63:1–13.
