Avaliação do desempenho do aprendizado por reforço em simulação microscópica de tráfego

• Liza Lunardi Lemos UFRGS
• Ana Bazzan UFRGS
• Gabriel de O. Ramos UFRGS

DOI: https://doi.org/10.5753/wesaac.2017.33224

Resumo

Esse trabalho investiga uma maneira de diminuir o tempo médio de viagem dos veículos. Para isso, uma abordagem baseada em aprendizado por reforço para a escolha de rotas dos veículos foi utilizada. Cada veículo recebe um conjunto de rotas pré-computadas e antes de cada viagem o veículo deve escolher entre essas rotas. Para validar a abordagem foi utilizada uma rede em grade 3 x 3 e um modelo de simulação microscópico. Comparou-se o tempo médio de viagem global e por subpopulações. Os resultados foram comparados com diferentes configurações do algoritmo e com o método de alocação de tráfego DUA. Em todos os casos, nossa abordagem superou o DUA em termos de tempo médio de viagem na rede.

Referências

Bazzan, A. L. C. and Grunitzki, R. (2016). A multiagent reinforcement learning approach to en-route trip building. In 2016 International Joint Conference on Neural Networks (IJCNN), pages 5288–5295.

Bazzan, A. L. C. and Klügl, F. (2013). Introduction to Intelligent Systems in Traffic and Transportation, volume 7 of Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan and Claypool.

Behrisch, M., Bieker, L., Erdmann, J., and Krajzewicz, D. (2011). SUMO - simulation of urban mobility: An overview. In SIMUL 2011, The Third International Conference on Advances in System Simulation, pages 63–68, Barcelona, Spain.

Dia, H. and Panwai, S. (2014). Intelligent Transport Systems: Neural Agent (Neugent) Models of Driver Behaviour. LAP Lambert Academic Publishing.

Dias, J. C., Machado, P., Silva, D. C., and Abreu, P. H. (2014). An inverted ant colony optimization approach to traffic. Engineering Applications of Artificial Intelligence, 36(0):122–133.

Galib, S. M. and Moser, I. (2011). Road traffic optimisation using an evolutionary game. In Proceedings of the 13th annual conference companion on Genetic and evolutionary computation, GECCO ’11, pages 519–526, New York, NY, USA. ACM.

Mannion, P., Duggan, J., and Howley, E. (2016). An experimental review of reinforcement learning algorithms for adaptive traffic signal control. In McCluskey, L. T., Kotsialos, A., Müller, P. J., Klügl, F., Rana, O., and Schumann, R., editors, Autonomic Road Transport Support Systems, pages 47–66. Springer.

Narendra, K. S. and Thathachar, M. A. L. (1989). Learning Automata: An Introduction. Prentice-Hall, Upper Saddle River, NJ, USA.

Ortúzar, J. d. D. and Willumsen, L. G. (2011). Modelling transport. John Wiley & Sons, Chichester, UK, 4 edition.

Ramos, G. de. O. and Grunitzki, R. (2015). An improved learning automata approach for the route choice problem. In Koch, F., Meneguzzi, F., and Lakkaraju, K., editors, Agent Technology for Intelligent Mobile Services and Smart Societies, volume 498 of Communications in Computer and Information Science, pages 56–67. Springer Berlin Heidelberg.

Sutton, R. and Barto, A. (1998). Reinforcement Learning: An Introduction. MIT Press, Cambridge, MA.

Tumer, K. and Agogino, A. (2006). Agent reward shaping for alleviating traffic congestion. In Workshop on Agents in Traffic and Transportation, Hakodate, Japan.

Wardrop, J. G. (1952). Some theoretical aspects of road traffic research. Proceedings of the Institution of Civil Engineers, Part II, 1(36):325–362.

Yen, J. Y. (1971). Finding the k shortest loopless paths in a network. Management Science, 17(11):712–716.