Reconhecimento de gestos estáticos da mão a partir de rede neural artificial e coordenadas do esqueleto

Abstract

A visão computacional nasceu de uma necessidade do homem de fazer com que as máquinas pudessem resolver problemas complexos. Porém, conceder o sentindo da visão às máquinas não é tarefa simples, pois existem algumas dificuldades inerentes ao processo. A fim de contorná-las, vários métodos, abordagens e tecnologias foram desenvolvidas com intuito de distinguir características importantes dos objetos a serem identificados e/ou rastreados. Tendo a tarefa de reconhecimento de gestos estáticos da mão em foco, abordagens baseadas em esqueleto mostram-se especialmente úteis, já que fornecem informações altamente relevantes para a execução da tarefa. Diante disso, o objetivo deste trabalho foi reconhecer gestos estáticos da mão através de uma rede neural do tipo MLP tendo como entrada coordenadas 3D dos pontos do esqueleto. Para isso, um dataset da Linguagem de Sinais Americana (ASL) foi utilizado para o treinamento e avaliação da rede e, um outro produzido pelo autor, foi usado para teste do modelo. Os resultados obtidos atestam a importância dessa abordagem, uma vez que obteve-se uma performance com acurácias de 98% e 100% no reconhecimento dos gestos (sinais) no dataset da ASL utilizado e no do autor, respectivamente.