Reconhecimento do alfabeto de Libras usando sensor Kinect e marcadores visuais

Abstract

Este trabalho tem como intuito apresentar o desenvolvimento de uma solução para o reconhecimento do alfabeto manual da Língua Brasileira de Sinais (Libras). Devido à grande complexidade e semelhança dos sinais, é alta a exigência por precisão e eficiência no sistema de reconhecimento baseado em processamento de vídeo. Para conseguir o desempenho desejado foi utilizada a combinação do sensor Kinect para análise de profundidade e segmentação das imagens e uma câmera RGB de alta resolução que, juntamente a uma luva com marcadores visuais, possibilitam o rastreamento das posições dos dedos da mão durante a execução dos sinais. Tal configuração permite extrair as características morfológicas que descrevem um sinal com as mãos e o representando em um vetor 12-dimensional baseado nas distâncias e ângulos relativos entre os marcadores. Para o reconhecimento criou-se para cada uma das 26 letras do alfabeto um vetor 12-dimensional representando o seu sinal.