Agentes Inteligentes baseados em Aprendizado por Reforço para Alocação Dinâmica de Tráfego em Nuvens
Resumo
A alocação eficiente do tráfego em nuvens é desafiadora devido ao compartilhamento de recursos entre os clientes. Isso pode implicar recursos ociosos caso os clientes estejam limitados a utilizar somente a banda contratada. O uso da nuvem pode ser otimizado provendo recursos aos clientes dinamicamente de acordo com a demanda. Agentes de aprendizado por reforço promovem respostas adaptáveis a ambientes variantes no tempo. Este artigo propõe um mecanismo baseado em Q-learning com múltiplos agentes para gerenciar o acesso aos recursos por cada cliente da nuvem. A proposta é analisada em um ambiente emulado, no qual um controlador é responsável pela alocação de tráfego aos clientes. Os resultados mostram que o mecanismo reduz a ociosidade da nuvem, permitindo que clientes com baixa priorização utilizem a banda disponível, ao mesmo tempo que garante a banda contratada a clientes prioritários. O mecanismo exige baixo comprometimento de processamento total, mesmo variando o número de estados e espaço de ações, ao passo que o custo em memória por agente aumenta, alcançando um máximo de 300 kB para 200 estados e ações.
Palavras-chave:
Aprendizado por reforço, datacenter, Q-learning, Redes de centros de dados (data center networking), Redes definidas por software
Referências
Ahalawat, A., Dash, S. S., Panda, A. e Babu, K. S. (2019). Entropy based DDoS detection and mitigation in OpenFlow enabled SDN. Em 2019 International Conference on Vision Towards Emerging Trends in Communication and Networking (ViTECoN), p. 1–5. IEEE.
Bari, M. F., Boutaba, R., Esteves, R., Granville, L. Z., Podlesny, M., Rabbani, M. G., Zhang, Q. e Zhani, M. F. (2012). Data center network virtualization: A survey. IEEE Communications Surveys & Tutorials, 15(2):909–928.
Barrett, E., Howley, E. e Duggan, J. (2013). Applying reinforcement learning towards automating resource allocation and application scalability in the cloud. Concurrency and Computation: Practice and Experience, 25(12):1656–1674.
Carvalho, H. E. T., Fernandes, N. C. e Duarte, O. C. M. B. (2011). Um controlador robusto de acordos de nı́vel de serviço para redes virtuais baseado em logica nebulosa. Em Anais do XXIX Simpósio Brasileiro de Redes de Computadores-SBRC’11, Campo Grande, MS.
Chen, L., Li, B. e Li, B. (2014). Allocating bandwidth in datacenter networks: A survey. Journal of Computer Science and Technology, 29(5):910–917.
Chen, Z., Hu, J. e Min, G. (2019). Learning-based resource allocation in cloud data center using advantage actor-critic. Em ICC 2019-2019 IEEE International Conference on Communications (ICC), p. 1–6. IEEE.
Dutreilh, X., Kirgizov, S., Melekhova, O., Malenfant, J., Rivierre, N. e Truck, I. (2011). Using reinforcement learning for autonomic resource allocation in clouds: towards a fully automated workflow. Em ICAS 2011, The Seventh International Conference on Autonomic and Autonomous Systems, p. 67–74.
Fox, A., Griffith, R., Joseph, A., Katz, R., Konwinski, A., Lee, G., Patterson, D., Rabkin, A. e Stoica, I. (2009). Above the clouds: A Berkeley view of cloud computing. Dept. Electrical Eng. and Comput. Sciences, University of California, Berkeley, Rep. UCB/EECS, 28(13):2009.
Guo, J., Song, Z., Cui, Y., Liu, Z. e Ji, Y. (2017). Energy-efficient resource allocation for multi-user mobile edge computing. Em GLOBECOM 2017 - 2017 IEEE Global Communications Conference, p. 1–7.
Habib, A. e Khan, M. I. (2016). Reinforcement learning based autonomic virtual machine management in clouds. Em 2016 5th International Conference on Informatics, Electronics and Vision (ICIEV), p. 1083–1088. IEEE.
Isbell, C., Shelton, C. R., Kearns, M., Singh, S. e Stone, P. (2001). A social reinforcement learning agent. Em Proceedings of the fifth international conference on Autonomous agents, p. 377–384. ACM.
Lantz, B., Heller, B. e McKeown, N. (2010). A network in a laptop: Rapid prototyping for software-defined networks. Em Proceedings of the 9th ACM SIGCOMM Workshop on Hot Topics in Networks, Hotnets-IX, p. 19:1–19:6, New York, NY, USA.
Mattos, D. M. F. e Duarte, O. C. M. B. (2012). Qflow: Um sistema com garantia de isolamento e oferta de qualidade de serviço para redes virtualizadas. Em Anais do XXX Simpósio Brasileiro de Redes de Computadores - SBRC 2012, Ouro Preto, MG.
Medeiros, D. S. V., Cunha Neto, H. N., Andreoni Lopez, M., Magalhães, L. C. S., Silva, E. F., Vieira, A. B., Fernandes, N. C. e Mattos, D. M. F. (2019). Análise de dados em redes sem fio de grande porte: Processamento em fluxo em tempo real, tendências e desafios. Minicursos do Simpósio Brasileiro de Redes de Computadores-SBRC, 2019:142–195.
Mera-Gómez, C., Ramı́rez, F., Bahsoon, R. e Buyya, R. (2017). A debt-aware learning approach for resource adaptations in cloud elasticity management. Em International Conference on Service-Oriented Computing, p. 367–382. Springer.
Rao, J., Bu, X., Xu, C.-Z., Wang, L. e Yin, G. (2009). VCONF: a reinforcement learning approach to virtual machines auto-configuration. Em Proceedings of the 6th international conference on Autonomic computing, p. 137–146. ACM.
Russell, S. J. e Zimdars, A. (2003). Q-decomposition for reinforcement learning agents. Em Proceedings of the 20th International Conference on Machine Learning (ICML- 03), p. 656–663.
Wang, Z., Gwon, C., Oates, T. e Iezzi, A. (2017). Automated cloud provisioning on AWS using deep reinforcement learning. arXiv preprint arXiv:1709.04305.
Xia, S.-M., Guo, S.-Z., Bai, W., Qiu, J.-Y., Wei, H. e Pan, Z.-S. (2019). A new smart router-throttling method to mitigate DDoS attacks. IEEE Access, 7:107952–107963.
Yau, D. K., Lui, J. C., Liang, F. e Yam, Y. (2005). Defending against distributed denial-of-service attacks with max-min fair server-centric router throttles. IEEE/ACM Transactions on Networking, 13(1):29–42.
Bari, M. F., Boutaba, R., Esteves, R., Granville, L. Z., Podlesny, M., Rabbani, M. G., Zhang, Q. e Zhani, M. F. (2012). Data center network virtualization: A survey. IEEE Communications Surveys & Tutorials, 15(2):909–928.
Barrett, E., Howley, E. e Duggan, J. (2013). Applying reinforcement learning towards automating resource allocation and application scalability in the cloud. Concurrency and Computation: Practice and Experience, 25(12):1656–1674.
Carvalho, H. E. T., Fernandes, N. C. e Duarte, O. C. M. B. (2011). Um controlador robusto de acordos de nı́vel de serviço para redes virtuais baseado em logica nebulosa. Em Anais do XXIX Simpósio Brasileiro de Redes de Computadores-SBRC’11, Campo Grande, MS.
Chen, L., Li, B. e Li, B. (2014). Allocating bandwidth in datacenter networks: A survey. Journal of Computer Science and Technology, 29(5):910–917.
Chen, Z., Hu, J. e Min, G. (2019). Learning-based resource allocation in cloud data center using advantage actor-critic. Em ICC 2019-2019 IEEE International Conference on Communications (ICC), p. 1–6. IEEE.
Dutreilh, X., Kirgizov, S., Melekhova, O., Malenfant, J., Rivierre, N. e Truck, I. (2011). Using reinforcement learning for autonomic resource allocation in clouds: towards a fully automated workflow. Em ICAS 2011, The Seventh International Conference on Autonomic and Autonomous Systems, p. 67–74.
Fox, A., Griffith, R., Joseph, A., Katz, R., Konwinski, A., Lee, G., Patterson, D., Rabkin, A. e Stoica, I. (2009). Above the clouds: A Berkeley view of cloud computing. Dept. Electrical Eng. and Comput. Sciences, University of California, Berkeley, Rep. UCB/EECS, 28(13):2009.
Guo, J., Song, Z., Cui, Y., Liu, Z. e Ji, Y. (2017). Energy-efficient resource allocation for multi-user mobile edge computing. Em GLOBECOM 2017 - 2017 IEEE Global Communications Conference, p. 1–7.
Habib, A. e Khan, M. I. (2016). Reinforcement learning based autonomic virtual machine management in clouds. Em 2016 5th International Conference on Informatics, Electronics and Vision (ICIEV), p. 1083–1088. IEEE.
Isbell, C., Shelton, C. R., Kearns, M., Singh, S. e Stone, P. (2001). A social reinforcement learning agent. Em Proceedings of the fifth international conference on Autonomous agents, p. 377–384. ACM.
Lantz, B., Heller, B. e McKeown, N. (2010). A network in a laptop: Rapid prototyping for software-defined networks. Em Proceedings of the 9th ACM SIGCOMM Workshop on Hot Topics in Networks, Hotnets-IX, p. 19:1–19:6, New York, NY, USA.
Mattos, D. M. F. e Duarte, O. C. M. B. (2012). Qflow: Um sistema com garantia de isolamento e oferta de qualidade de serviço para redes virtualizadas. Em Anais do XXX Simpósio Brasileiro de Redes de Computadores - SBRC 2012, Ouro Preto, MG.
Medeiros, D. S. V., Cunha Neto, H. N., Andreoni Lopez, M., Magalhães, L. C. S., Silva, E. F., Vieira, A. B., Fernandes, N. C. e Mattos, D. M. F. (2019). Análise de dados em redes sem fio de grande porte: Processamento em fluxo em tempo real, tendências e desafios. Minicursos do Simpósio Brasileiro de Redes de Computadores-SBRC, 2019:142–195.
Mera-Gómez, C., Ramı́rez, F., Bahsoon, R. e Buyya, R. (2017). A debt-aware learning approach for resource adaptations in cloud elasticity management. Em International Conference on Service-Oriented Computing, p. 367–382. Springer.
Rao, J., Bu, X., Xu, C.-Z., Wang, L. e Yin, G. (2009). VCONF: a reinforcement learning approach to virtual machines auto-configuration. Em Proceedings of the 6th international conference on Autonomic computing, p. 137–146. ACM.
Russell, S. J. e Zimdars, A. (2003). Q-decomposition for reinforcement learning agents. Em Proceedings of the 20th International Conference on Machine Learning (ICML- 03), p. 656–663.
Wang, Z., Gwon, C., Oates, T. e Iezzi, A. (2017). Automated cloud provisioning on AWS using deep reinforcement learning. arXiv preprint arXiv:1709.04305.
Xia, S.-M., Guo, S.-Z., Bai, W., Qiu, J.-Y., Wei, H. e Pan, Z.-S. (2019). A new smart router-throttling method to mitigate DDoS attacks. IEEE Access, 7:107952–107963.
Yau, D. K., Lui, J. C., Liang, F. e Yam, Y. (2005). Defending against distributed denial-of-service attacks with max-min fair server-centric router throttles. IEEE/ACM Transactions on Networking, 13(1):29–42.
Publicado
07/12/2020
Como Citar
DOS SANTOS FILHO, Reiner Henrique; MATTOS, Diogo Menezes Ferrazani; DE MEDEIROS, Dianne Scherly Varela.
Agentes Inteligentes baseados em Aprendizado por Reforço para Alocação Dinâmica de Tráfego em Nuvens. In: SIMPÓSIO BRASILEIRO DE REDES DE COMPUTADORES E SISTEMAS DISTRIBUÍDOS (SBRC), 38. , 2020, Rio de Janeiro.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2020
.
p. 141-154.
ISSN 2177-9384.
DOI: https://doi.org/10.5753/sbrc.2020.12279.
