Aplicação Prática de Aprendizado por Reforço e Imitation Learning com Unity ML-Agents

• Lucas Brandão Rodrigues UFG
• Maria Carolina X. de Almeida UFG
• Anna Pietra V. L. B. Moreira UFG

DOI: https://doi.org/10.5753/sbgames_estendido.2026.30177

Resumo

Introdução: O Aprendizado por Reforço (Reinforcement Learning — RL) e o Aprendizado por Imitação (Imitation Learning — IL) são técnicas consolidadas da Inteligência Artificial com aplicações crescentes em jogos digitais. Contudo, a transição entre os conceitos teóricos dessas abordagens e sua implementação prática funcional permanece um desafio significativo para estudantes, pesquisadores e desenvolvedores, que carecem de suporte pedagógico sistemático no contexto do desenvolvimento de jogos. Objetivo: Este trabalho propõe uma abordagem pedagógica estruturada para facilitar essa transição, capacitando os participantes a construir, treinar e avaliar agentes autônomos com o toolkit Unity ML-Agents, com ênfase no compartilhamento de soluções para desafios práticos recorrentes. Metodologia ou Etapas: O tutorial é organizado em cinco módulos com desafios de complexidade crescente, conduzidos por um ciclo iterativo de problema → ferramenta → solução, em aproximadamente quatro horas de atividades hands-on — dos fundamentos do RL à implementação de um projeto completo em um ambiente de jogo, passando por técnicas de IL como Clonagem Comportamental (Behavioral Cloning — BC) e Aprendizagem por Imitação Adversarial Generativa (Generative Adversarial Imitation Learning — GAIL). Resultados Esperados: Espera-se que os participantes concluam o tutorial aptos a implementar agentes autônomos com Unity ML-Agents de forma independente, tendo vivenciado na prática os principais desafios de configuração e treinamento. Essa vivência fundamenta a contribuição acadêmica do trabalho: o registro sistematizado das lições e “gargalos” documentados visa construir um corpo de conhecimento citável sobre a aplicação prática de RL e IL no desenvolvimento de jogos digitais.

Palavras-chave: Aprendizado por Reforço, Aprendizado por Imitação, Unity ML-Agents, Desenvolvimento de Jogos, Aprendizagem Ativa

Referências

ElDahshan, K. A., Farouk, H., e Mofreh, E. (2022). Deep reinforcement learning based video games: A review. In 2022 2nd International Mobile, Intelligent, and Ubiquitous Computing Conference (MIUCC), pages 302–309.

Freeman, S., Eddy, S. L., McDonough, M., Smith, M. K., Okoroafor, N., Jordt, H., e Wenderoth, M. P. (2014). Active learning increases student performance in science, engineering, and mathematics. Proceedings of the National Academy of Sciences, 111(23):8410–8415.

Ghasemipour, S. K. S., Zemel, R. S., e Gu, S. S. (2019). A divergence minimization perspective on imitation learning methods. In Conference on Robot Learning.

Ho, J. e Ermon, S. (2016). Generative adversarial imitation learning. In Advances in Neural Information Processing Systems, volume 29, pages 4565–4573.

Hussein, A., Gaber, M. M., Elyan, E., e Jayne, C. (2017). Imitation learning: A survey of learning methods. ACM Comput. Surv., 50(2).

Juliani, A., Berges, V.-P., Teng, E., Cohen, A., Harper, J., Elion, C., Goy, C., Gao, Y., Henry, H., Mattar, M., e Lange, D. (2020). Unity: A general platform for intelligent agents.

Kurach, K., Raichuk, A., Stańczyk, P., Zajac, M., Bachem, O., Espeholt, L., Riquelme, C., Vincent, D., Michalski, M., Bousquet, O., e Gelly, S. (2019). Google research football: A novel reinforcement learning environment.

Prince, M. (2004). Does active learning work? a review of the research. Journal of Engineering Education, 93(3):223–231.

Silver, D., Schrittwieser, J., Simonyan, K., Antonoglou, I., Huang, A., Guez, A., Hubert, T., Baker, L., Lai, M., Bolton, A., Chen, Y., Lillicrap, T., Hui, F., Sifre, L., van den Driessche, G., Graepel, T., e Hassabis, D. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676):354–359.

Sutton, R. S. e Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press, Cambridge, MA, USA, 2nd edition.