Alocação de Potência em Redes Sem Fio Baseadas em Multiplexção por Divisão de Frequências Ortogonais Utilizando Aprendizagem por Reforço

• Hudson H. S. Lopes UFG
• Anderson da S. Soares UFG
• Flávio H. T. Vieira UFG

DOI: https://doi.org/10.5753/erigo.2022.227532

Resumo

Neste artigo, abordamos o desafiante problema de alocação de potência de transmissão do sinal baseadas na técnica de Multiplexação por Divisão de Frequências Ortogonais (OFDM - Orthogonal Frequency Division Multiplexing). Propomos utilizar algoritmos baseados em Aprendizagem por Reforço (RL - Reinforcement Learning) para encontrar a política ótima para alocação de potência aos dispositivos da rede sem fio usando uma funcão de recompensa. Mais especificamente, propomos utilizar o agente Rede Q Profunda Dupla (DDQN - Double DQN) devido a sua maior capacidade de aprendizagem em comparação a Aprendizagem Q (Q-Learning) e a Rede Q Profunda (DQN - Deep Q-Network). Os resultados das simulações mostram que o agente DDQN apresenta soluções promissoras na alocação de potência em redes sem fio.

Referências

Alwarafy, A., Abdallah, M. M., Ciftler, B. S., Al-Fuqaha, A. I., and Hamdi, M. (2021). Deep reinforcement learning for radio resource allocation and management in next generation heterogeneous wireless networks: A survey. CoRR, abs/2106.00574.

Buzzi, S., I, C.-L., Klein, T. E., Poor, H. V., Yang, C., and Zappone, A. (2016). A survey of energy-efficient techniques for 5g networks and challenges ahead. IEEE Journal on Selected Areas in Communications, 34(4):697–709.

Carneiro, D., Cardoso, A., Almeida, C., and Vieira, F. (2021). Aprendizado por reforço para escalonamento de recursos em sistema sem fio multiportadora com ondas milimétricas utilizando modelo markoviano. In Anais da IX Escola Regional de Informática de Goiás, pages 12–25, Porto Alegre, RS, Brasil. SBC.

Ding, Z., editor (2019). Applications of Machine Learning in Wireless Communications. Telecommunications. Institution of Engineering and Technology.

Kleinrock, L. (1975). Theory, Volume 1, Queueing Systems, volume 1. Wiley-Interscience, USA.

Koo, J., Mendiratta, V. B., Rahman, M. R., and Walid, A. (2019). Deep reinforcement learning for network slicing with heterogeneous resource requirements and time varying traffic dynamics. In 2019 15th International Conference on Network and Service Management (CNSM), pages 1–5.

Liu, Y., Ding, J., and Liu, X. (2021). Resource allocation method for network slicin gusing constrained reinforcement learning. In 2021 IFIP Networking Conference (IFIP Networking), pages 1–3.

Mauricio, F., Vinicius, W., Lima, M., and et. al (2019). Resource allocation for energy efficiency and qos provisioning. Journal of Communication and Information Systems, 34(1):224–238.

VASCONCELOS, M. M., A., C. A., and VIEIRA, F. H. T. (2020). Aprendizado por reforços e modelo markoviano para alocação de recursos em um sistema internet das coisas cognitivo. XXXVIII Simpósio Brasileiro de Telecomunicações e Processamento de Sinais - SBrT 2020.

Wong, T. J. and Das, N. (2014). Modelling and analysis of iec 61850 for end-to-end delay characteristics with various packet sizes in modern power substation systems. In 5th Brunei International Conference on Engineering and Technology (BICET 2014), pages 1–6.

Zhou, H., Elsayed, M. H. M., and Erol-Kantarci, M. (2021). RAN resource slicing in 5g using multi-agent correlated q-learning. In 32nd IEEE Annual International Symposium on Personal, Indoor and Mobile Radio Communications, PIMRC 2021, Helsinki, Finland, September 13-16, 2021, pages 1179–1184. IEEE.