Imagens sintéticas para aperfeiçoar a geração de legendas automáticas

Abstract

Gerar descrições textuais de imagens tem sido um tópico importante em visão computa cional e Natural Language Processing (NLP). Grande parte do problema em se trabalhar com qualquer modelo de machine learning, ou deep learning, vem da base de dados uti lizada, de como esses dados são tratados e de quão bem esses dados são capazes de fazer uma representação geral do problema. Assim, esse trabalho teve como objetivo geral o estudo sobre técnicas para aperfeiçoar a geração de legendas para imagens, utilizando modelos de deep learning, pela diversificação do dataset utilizado no treinamento do mod elo. Foram usados diferentes tipos de Generative Adversarial Networks (GANs) para gerar imagens sintéticas, como o AttnGAN, o DM-GAN e suas respectivas versões melhoradas com contrastive learning, as quais substituíram imagens reais na base de dados utilizada, sem modificar o tamanho original do dataset. Foram então utilizadas diversas métricas como o IS, o FID e o R-Precision para analisar o desempenho das diferentes GANs. Com ajuda da pontuação BLEU, foi analisada a performance do gerador de legendas sob o treinamento de diferentes datasets com imagens reais e imagens sintéticas geradas pelas diferentes GANs. Assim, pode-se demonstrar o aumento de performance e acurácia do gerador de legendas para imagens reais, unicamente por consequência da introdução de imagens sintéticas na base de dados original. Grande destaque é dado para o DM-GAN ao superar as pontuações de candidatos anteriores e, consequentemente, abrir caminho para o desenvolvimento de um novo modelo de geração de legendas capaz de superar o estado da arte atual.