Refatoração da Extensão NetLogo de Aprendizagem por Reforço para Integração com a Biblioteca BURLAP

• Eloísa Bazzanella UDESC
• Matheus M. Barros UDESC
• Fernando Santos UDESC

Resumo

A modelagem e simulação baseada em agentes é um paradigma de simulação que permite focar nos indivíduos, em suas interações e no comportamento complexo resultante. Simulações baseadas em agentes são geralmente desenvolvidas em ambientes de simulação que fornecem recursos relacionados a agentes. Um desses ambientes é o NetLogo, que possui uma extensão para que os agentes possam utilizar aprendizagem por reforço, especificamente o algoritmo Q-Learning. Este artigo descreve a refatoração dessa extensão para integração com a BURLAP, uma biblioteca Java consolidada de aprendizagem por reforço. Avaliações evidenciaram que a refatoração manteve a extensão NetLogo consistente e funcional. A partir da refatoração, a extensão NetLogo passa a permitir o uso dos algoritmos de aprendizagem por reforço SARSA(λ) e Actor-Critic, além do Q-Learning.

Referências

Bazzanella, E. e Santos, F. (2021). Does a q-learning netlogo extension simplify the development of agent-based simulations? In Anais do XV Workshop-Escola de Sistemas de Agentes, seus Ambientes e apliCações, pages 1–12, Rio de Janeiro.

Bonabeau, E. (2002). Agent-based modeling: methods and techniques for simulating human systems. Proceedings of the National Academy of Sciences, 99(3):7280–7287.

CoMSES (2020). CoMSES Catalog. [link]. Acesso em: Jul/2020.

Epstein, J. e Axtell, R. (1996). Growing artificial societies: social science from the bottom up. Brookings Institution Press.

Konda, V. e Tsitsiklis, J. (2000). Actor-critic algorithms. Advances in neural information processing systems, pages 1008–1014.

Kons, K. (2019). Biblioteca Q-Learning para desenvolvimento de simulações com agentes na plataforma NetLogo. Trabalho de conclusão de curso, Universidade do Estado de Santa Catarina (UDESC).

Macal, C. M. e North, M. J. (2010). Introduction to agent-based modeling and simulation. Springer Science & Business Media.

MacGlashan, J., Loftin, R., Littman, M. L., e Roberts, D. L. (2018). BURLAP: Brown-UMBC Reinforcement Learning and Planning. burlap.cs.brown.edu/.

Macy, M. W. e Willer, R. (2002). The factors affecting cooperation in a social dilemma: A multiagent simulation. Computational & Mathematical Organization Theory, 8(3):187–207.

Peters, J. e Schaal, S. (2008). Natural actor-critic. Neurocomputing, 71(7-9):1180–1190.

Rummery, G. e Niranjan, M. (1994). On-line q-learning using connectionist systems. Technical Report CUED/F-INFENG/TR 166.

Russel, S. e Norvig, P. (2004). Inteligência Artificial. Rio de Janeiro: Campus, 2 edition.

Sklar, E. (2007). Software review: Netlogo, a multiagent simulation environment. Journal of Artificial Life.

Sutton, R. S. e Barto, A. G. (2018). Reinforcement learning: An introduction. MIT press.

Tisue, S. e Wilensky, U. (2004). Netlogo: Design and implementation of a multi-agent modeling environment. In Proceedings of agent, volume 2004, pages 7–9. Springer.

Wang, X.-S., Cheng, Y.-H., e Yi, J.-Q. (2007). A fuzzy actor–critic reinforcement learning network. Information Sciences, 177(18):3764–3781.

Watkins, C. J. C. H. e Dayan, P. (1992). Q-learning. Machine learning, 33(3–4):279–292.

Wilensky, U. (1999). NetLogo. [link].

Wooldridge, M. (2009). An introduction to multiagent systems. John Wiley & Sons.