Um estudo do gargalo de informação em uma rede neural artificial

Abstract

Este relatório de projeto final de graduação do curso de Engenharia de Redes de Comunica ção tem como objetivo o estudo do princípio do gargalo da informação, aplicado ao aprendizado profundo. Esse princípio faz parte da teoria da informação e tem como uma de suas aplicações a redução da dimensionalidade. Por meio de uma revisão teórica e de testes experimentais, este projeto visa ilustrar a validade da aplicação do princípio na área de aprendizado profundo, tendo em vista que esta é uma das áreas que apresentou grande crescimento nos últimos anos e que pode ser beneficiada pelas aplicações derivadas do uso deste fundamental teórico. O princípio do gargalo da informação sugere que, para a compreensão e processamento de dados de forma mais eficiente, deve-se reduzir a quantidade de dados irrelevantes e focar apenas nos dados essenciais para a realização da tarefa desejada. No contexto estudado, o aprendizado profundo, isso pode melhorar a eficiência dos modelos e sistemas, diminuindo a complexidade computacional e aumentando a capacidade de generalização da rede neural. Este estudo explora uma abordagem em que a teoria do gargalo pode ser utilizada para otimizar arquiteturas de redes neurais profundas, avaliando o impacto no desempenho e na precisão do modelo. Além disso, será feita uma breve abordagem teórica do conceito e uso de autocodificado res variacionais, considerando que o modelo aplicado aqui, Variational Information Bottleneck, pode ser encarado como uma ramificação do auto codificador variacional. Essa abordagem se faz necessária para um melhor entendimento do modelo estudado e testado. Por fim, são apresentados alguns resultados práticos e métricas coletadas que servem como ferramentas para fazer uma análise do uso deste ferramental teórico.