Um sistema portátil de tradução de posturas do alfabeto manual de libras em voz utilizando luva instrumentalizada com sensores IMU

Abstract

Surdos enfrentam dificuldades diariamente por problemas de comunicação, mesmo que sejam capazes física e intelectualmente de exercer praticamente qualquer tarefa que al- guma pessoa ouvinte exerceria. Tecnologias vestíveis estão se tornando cada vez mais comuns em dispositivos como smartwatches e smartbands, porém poucas dessas tecnolo- gias surgem com o objetivo de auxiliar os surdos. A Língua Brasileira de Sinais (Libras) é a língua oficial da comunidade surda no Brasil e é tão completa quanto qualquer língua oral. Pensado nisso, este trabalho propõe um sistema de baixo custo para tradução em tempo real de posturas manuais de Libras, mais especificamente a soletração do alfabeto manual, para português. O sistema proposto consiste em uma luva com cinco sensores que possuem acelerômetro e giroscópio, um em cada dedo, e um microcontrolador que se comunica via Bluetooth a um smartphone, que realiza o processamento dos dados obtidos pelos sensores em uma rede neural e classifica a postura manual realizada. O sistema proposto neste trabalho foi testado com três classificadores diferentes: i) Perceptron multicamadas (MLP); ii) K vizinhos mais próximos (KNN); e iii) Redes de funções de base radial (RBFN). O melhor desempenho em tempo real foi obtido pelo clas- sificador RBFN, com 99,84% de acurácia no conjunto de dados de teste. Além disso, foi obtida uma acurácia de 99,93% no MLP e 99,69% no KNN. Apesar de uma melhor acurá- cia, o MLP não se mostrou adequado para a utilização em tempo real porque não fornece um limiar muito confiável quando é fornecida uma entrada de uma classe desconhecida para a rede. Dessa forma, este protótipo se mostrou adequado para solucionar o problema de tradução de sinais de Libras, sendo sugerido que futuramente seja adaptado para novos sinais.