Alocação de potência em redes JCAS utilizando aprendizado por reforço profundo

Abstract

O avanço das redes sem fio e a crescente demanda por serviços de alta capacidade tornou essencial o desenvolvimento de tecnologias que permitam a reutilização do espectro para comunicação e sensoriamento do ambiente, dando origem aos sistemas de comunicação e sensoriamento integrados (JCAS, do inglês joint communication and sensing). Um dos principais desafios desses sistemas é a alocação eficiente de potência para garantir o equi líbrio entre a qualidade da comunicação e do sensoriamento. As técnicas de aprendizado de máquina (ML), em especial aprendizado por reforço profundo (DRL), surgem como alternativas promissoras para o controle de potência, devido a sua capacidade de adaptação a ambientes dinâmicos e complexos. Nesse contexto, outro desafio de grande preocupação é o de proteção e privacidade dos dados dos usuários, usados para o treinamento das redes DRL. Para lidar com esse problema, surgiu o paradigma de aprendizado federado (FL), que permite o treinamento colaborativo e local, no qual o modelo central é treinado a partir da agregação de parâmetros dos modelos locais, sem que haja necessidade de transmissão de dados dos usuários. Este trabalho propõe uma abordagem baseada em DRL federado para a alocação de potência em redes JCAS, analisado em três configurações diferentes de comunicação, explorando os algoritmos Proximal Policy Optimization (PPO) e REINFORCE, com o objetivo de avaliar o impacto da descentralização do aprendizado sobre a eficiência da alocação de potência, em termos da probabilidade de outage e da relação sinal ruído mais interferência (SNIR) das comunicações e dos sensores, comparando o desempenho dos modelos federados com as abordagens centralizadas tradicionais. Os resultados mostraram leve piora no desempenho da solução federada, quando comparada com a centralizada, porém sem expressividade suficiente para invalidar o emprego do FL, tendo em vista as vantagens de privacidade e segurança.