Aplicação de técnicas de "Deep Reinforcement Learning" na alocação de recursos de um sistema 5G para a comunicação D2D

Abstract

Considerando a importância de aproveitar ao máximo os recursos disponíveis para as próximas gerações do sistema móvel, este trabalho propõe dois algoritmos inteligentes para realizar a alocação de recursos de um sistema em um ambiente urbano com comunicações prioritárias no uplink compartilhando espectro com comunicações device-to-device (D2D) em modo underlay em cenário in-coverage. Os algoritmos desenvolvidos tiveram estrutura monoagente e foram treinados utilizando técnicas de Deep Reinforcement Learning com política determinística, mais especificamente o DDPG e o TD3, devido à capacidade de otimizar problemas de alta complexidade e de definir ações de natureza contínua. Os modelos desenvolvidos mostraram-se eficazes na proteção das comunicações prioritárias e na maximização das taxas de transmissão das comunicações D2D, realizando o controle de potência e a alocação de espectro de comunicações de um sistema móvel. Por outro lado, o desempenho dos algoritmos propostos mostrou-se dependente da dimensão do problema, de forma que, à medida que a dimensionalidade aumentou, o desempenho do modelo ficou comprometido. Isso é um reflexo das limitações do processo de treinamento dos algoritmos DRL e da dificuldade de realizar alocação através de um modelo centralizado. As principais contribuições deste trabalho são propor um modelo que realiza a alocação completa de recursos, controlando a potência e alocando o espectro, por meio de um esquema centralizado treinado com algoritmos de DRL. Além disso, a realização da alocação com a possibilidade de as comunicações D2D usarem mais de um RB aumenta as possibilidades de alocação, o que é discutido neste trabalho.