Análise de políticas de exploração no aprendizado por reforço aplicado a jogos de Atari

Abstract

No aprendizado por reforço o dilema exploration-exploitation ainda é uma lacuna, sendo um dos maiores desafios da área. O dilema está relacionado à tomada de decisão, onde se deve decidir entre repetir o que foi feito no passado ou tentar novas ações que podem melhorar o resultado final. Ainda há carência de estudos que comparem as técnicas clássicas de exploração para aprendizado por reforço com técnicas mais atuais desenvolvidas para deep learning. O presente trabalho faz a comparação entre tais técnicas, com objetivo de compreender quais são mais eficientes na tarefa de auxiliar no aprendizado da inteligência artificial (agente). Para isso é proposta uma metodologia para o treinamento de diversas instâncias do agente, cada uma utilizando um dos jogos de Atari (ambiente): (a) Pong, (b) Breakout, e (c) Space Invaders, que são problemas desafiadores e com diferentes níveis de complexidade. Combinados com uma das seis diferentes políticas de exploração: (1) Aleatória, (2) Greedy, (3) Epsilon Greedy, (4) Boltzmann, (5) Decaying Epsilon Greedy, e (6) Random Noise. Todos os agentes são treinados utilizando o mesmo processo de aprendizagem utilizando Deep Q-learning, sem nenhum conhecimento prévio do ambiente e recebendo como estímulo do ambiente apenas imagens da tela do jogo. O desempenho de cada combinação ambiente-política foi avaliado com base na média de pontuação do agente obtida após interagir por 100 episódios com um dos jogos. De todas as políticas utilizadas para avaliação, a Decaying Epsilon Greedy foi a que obteve a maior média de pontuação nos jogos Pong e Space Invaders e a segunda maior no Breakout, perdendo somente para Random Noise, sendo, portanto, a melhor estratégia encontrada para auxiliar o agente a conseguir o melhor desempenho nos jogos de Atari.