Aprendizado por Reforço para Escalonamento de Recursos em Sistema sem Fio Multiportadora com Ondas Milimétricas Utilizando Modelo Markoviano

• Daniel Porto Queiroz Carneiro Universidade Federal de Goiás
• Alisson Assis Cardoso Universidade Federal de Goiás
• Cláudio Gabriel Lemos de Almeida Universidade Federal de Goiás
• Flávio Henrique Teles Vieira Universidade Federal de Goiás

DOI: https://doi.org/10.5753/erigo.2021.18430

Resumo

Neste artigo, apresenta-se um algoritmo de alocação de recursos baseado em aprendizado por reforço para um sistema de comunicação multiportadora considerando múltiplos usuários e efeitos de desvanecimento e multipercurso em uma transmissão assumindo ondas milimétricas. Para tal, propõe-se que o sistema de comunicação possa ser descrito por um modelo Markoviano representado pelos estados da fila nos buffers e estados dos canais. Para o algoritmo de alocação de recursos deste trabalho, introduzimos uma função de recompensa a ser utilizada no algoritmo de aprendizado por reforço Q-learning. Os resultados obtidos nas simulações mostram que a aplicação do algoritmo proposto de escalonamento de recursos provê de forma geral, melhoria nos parâmetros de desempenho do sistema de comunicação considerado, como por exemplo, aumento de vazão e diminuição de perda de pacotes. Comparações com outros algoritmos apresentados na literatura são realizadas, mostrando também que o uso da função de recompensa e o modelo Markoviano propostos torna o escalonamento de usuários e o compartilhamento de recursos mais eficientes.

Referências

3GPP (2018). Study on channel model for frequencies from 0.5 to 100 ghz (release 15). Technical report, 3GPP TR 38.901.

Ford, R., Rangan, S., Mellios, E., Kong, D., and Nix, A. (2017). Markov channel-based performance analysis for millimeter wave mobile networks. In 2017 IEEE Wireless Communications and Networking Conference (WCNC), pages 1–6. IEEE.

Hong Shen Wang and Moayeri, N. (1995). Finite-state markov channel-a useful model for radio communication channels. IEEE Transactions on Vehicular Technology, 44(1):163–171.

Matz, G. and Hlawatsch, F. (2011). Fundamentals of time-varying communication channels. In Wireless Communications Over Rapidly Time-Varying Channels, pages 1–63. Elsevier.

Patteti, K., Kumar, T., and Kalitkar, K. (2016). M-qam ber and ser analysis of multipath fading channels in long term evolutions (lte). International Journal of Signal Processing, Image Processing and Pattern Recognition (IJSIP), Vol.9:361–368.

Proakis, J. and Salehi, M. (2008). Digital Communications. McGraw-Hill International Edition. McGraw-Hill.

Rappaport, T. S. et al. (1996). Wireless communications: principles and practice, volume 2. prentice hall PTR New Jersey.

Sutton, R. S. and Barto, A. G. (2018). Reinforcement learning: An introduction. MIT press.

Zhu, J., Song, Y., Jiang, D., and Song, H. (2018). A new deep-q-learning-based transmission scheduling mechanism for the cognitive internet of things. IEEE Internet of Things Journal, 5(4):2375–2385.