Natural Language Inference using models based on Long-Short Term Memory : A Comparative Study

Abstract

Inferência de Linguagem Natural é a tarefa de classificar automaticamente a relação entre dois textos como sendo de inferência ou não, com um desses textos sendo geralmente chamado de premissa, e o outro de hipótese. Modelos de Inferência de Linguagem Natural melhoraram significativamente nos últimos anos devido ao desempenho cada vez melhor de sistemas de aprendizado profundo. Contudo, eles também ficaram mais complexos, o que levou a tempos de treinamento longos. Por causa disso, a otimização de hiperparâmetros é raramente feita dentro da área de Inferência de Linguagem Natural. Ademais, muitos dos novos artigos não justificam as suas escolhas de hiperparâmetros. Neste trabalho, foram analisados os efeitos de uma otimização de hiperparâmetros de larga escala em modelos de LSTM simples para a tarefa de Inferência de Linguagem Natural, com o objetivo de determinar se essa otimização é viável considerando o tempo de processamento computacional. Além disso, foi estudado se seria uma estratégia válida reusar parâmetros que foram otimizados para outro conjunto de dados, como alguns trabalhos na literatura fizeram. Os experimentos foram conduzidos em três conjuntos de dados: ASSIN 2, SICK, e uma versão reduzida do SNLI, RSNLI. Em todos os três conjuntos de dados, foi verificada uma variação significativa de desempenho causada pela otimização de hiperparâmetros, chegando a 15,4% no ASSIN 2, 4,7% no SICK, e 17,5% no RSNLI. Além disso, a análise da acurácia média de cada combinação de hiperparâmetro mostrou uma correlação de 0, 520 a 0, 44 para o desempenho dos mesmos hiperparâmetros em conjuntos de dados diferentes. A conclusão desta pesquisa é que a otimização de hiperparâmetros teve um efeito significativo em modelos de LSTM simples, mas ainda resta testá-la em sistemas mais complexos.