Melhoramento de marcha para robô quadrúpede utilizando estratégia de aprendizagem por reforço

Abstract

Esse trabalho tem como objetivo o melhoramento de um modelo de marcha proposto em um trabalho anterior, utilizando-se estratégias de aprendizado por reforço. Para isso foram aplicados dois métodos diferentes, o primeiro foi a utilização do algoritmo de diferença temporal e o segundo, um algoritmo de gradiente de política. Para a avaliação dos algoritmos eles foram, primeiramente, aplicados em ambiente simulado. No primeiro método, o valor dos estados são aproximados conforme os estados são visitados e uma implementação com parâmetros contínuos se mostrou inviável. Deste modo, apenas três parâmetros foram escolhidos para serem aprendidos e esses foram discretizados em passos de 0,4, mas mesmo com estas restrições impostas, foi visto que para se obter uma estimativa da função valor eram necessárias muitas horas de simulação. No segundo método o tempo de simulação diminuiu consideravelmente, e com poucas iterações, foi possível a obtenção de melhores resultados. A marcha usada para inciar o algoritmo conseguia percorrer uma distância de 61cm e a marcha final encontrada nesse trabalho chegou a andar 80cm, um aumento de 30%.