Visualização de vetores de texto por meio de projeções multidimensionais

Abstract

A maioria dos trabalhos na literatura relacionados com a visualização de textos baseada no posicionamento de pontos consideram a representação de textos no modelo de espaço

vetorial, obtida por técnicas como bag-of-words e Term Frequency-Inverse Document Fre- quency (TF-IDF). Apesar de ser popular, essa representação apresenta limitações ao cap- turar o contexto dos textos, pois não leva em consideração a ordem das palavras presentes

no texto. Recentemente, as representações baseadas em text embeddings se mostraram promissoras ao gerar vetores dos textos com preservação do contexto. Dessa maneira,

este estudo tem como objetivo investigar se os gráficos de espalhamento gerados por vi- sualizações baseadas em projeções multidimensionais são capazes de refletir informações

associadas ao contexto dos textos, como também expressar apropriadamente suas relações de similaridade. Para esse propósito, foram realizados experimentos a partir de diferentes corpos de texto, sobre os quais foram aplicadas as técnicas de text embeddings Vetor de Parágrafos e Bidirectional Encoder Representations from Transformers (BERT). A partir dos vetores

obtidos, as técnicas de redução de dimensionalidade t-Stochastic Distributed Neighbor Em- bedding (t-SNE) e Uniform Manifold Approximation Projection (UMAP) foram utilizadas

para gerar os gráficos de espalhamento, que tiveram suas qualidades avaliadas com base em métricas que medem a preservação das relações previamente presentes no espaço de alta dimensionalidade. A análise visual dos gráficos de espalhamento obtidos pela técnica t-SNE permite observar que textos similares em relação ao contexto foram posicionados próximos uns aos outros, formando grupos de pontos com baixa separabilidade entre si. Por sua vez, utilizando a técnica UMAP, foi possível verificar uma boa separação de grupos de pontos, associados a textos diferentes. Entretanto, dependendo do conjunto de vetores sobre o qual o UMAP é utilizado, são gerados gráficos de espalhamentos com grupos de pontos esparsos, o que dificulta a identificação de padrões e grupos de textos similares na análise visual.