Desafios na implementação de modelos de Speech Transformer e Conformer para reconhecimento de fala silenciosa com eletromiografia

Abstract

O principal meio de comunicação entre os seres humanos é a fala, possibilitando a transmissão de ideias, emoções e informações. No entanto, há situações em que a comunicação por meio da fala não é viável devido à perda da capacidade de falar ao longo da vida, ambientes desfavoráveis ou a necessidade de privacidade. Nesse contexto, surge a necessidade de aplicar técnicas de reconhecimento de fala silenciosa, que permitem identificar o que está sendo dito com base na movimentação dos órgãos articulatórios, músculos faciais e do pescoço, utilizando métodos como leitura labial, ultrassom e outros sensores. Para abordar esse tema, realizou-se um estudo abrangente sobre o funcionamento da fala e as principais abordagens de reconhecimento de fala silenciosa desenvolvidas até o momento, bem como os métodos de processamento de sinais e reconhecimento de fala mais comuns. Com base nas referências consultadas, foi delineado um estudo de caso que servirá como base para experimentos futuros. Detalhes técnicos foram apresentados sobre a técnica de eletromiografia, que envolve a captura de dados por meio de eletrodos, assim como os principais métodos de amplificação de sinal e pré-processamento no contexto da eletro miografia. Também foram explorados métodos como STFT, MFCC, LSTM bidirecional, DTW, CCA, RNN, Transformer, Vocoder e CTC, com um foco específico no trabalho de Gaddy e Klein, que foi selecionado como referência para o estudo experimental. Na fase prática do trabalho, foram analisados dois modelos de redes neurais naturais: o Speech Transformer e o Conformer. Devido a limitações de hardware, não foi possível implementar e avaliar adequadamente o Speech Transformer. No entanto, o modelo Conformer foi implementado, embora tenha apresentado desafios, incluindo uma alta taxa de erro por palavra. Diversos testes foram conduzidos com diferentes otimizadores e taxas de aprendizado, mas não resultaram em melhorias substanciais. Acredita-se que as dimensões menores da arquitetura Conformer e o tamanho reduzido da base de dados possam ter contribuído para os resultados menos satisfatórios. Além disso, a escolha de utilizar o sinal EMG parametrizado manualmente em vez do EMG bruto pode ter impactado negativamente no processo de aprendizado. Para pesquisas futuras, é recomendado testar as hipóteses mencionadas e investigar a eficácia do código do modelo Conformer. Também seria benéfico conduzir experimentos com outras bases de dados e explorar configurações de modelos mais robustas, com o objetivo de aprimorar o desempenho do reconhecimento de fala silenciosa.