Classificação de entidades textuais nomeadas em publicações de diários oficiais utilizando Transformers

Abstract

O processo de Reconhecimento de Entidades Nomeadas (REN) é uma das atividades fundamentais e formantes da área de Processamento de Linguagem Natural (PLN). Atualmente, existem diversas fontes de informações de dados textuais com valor importante para a sociedade. Dentre estas fontes de informações tem-se as publicações de diários oficiais. Tais publicações possuem diversos elementos textuais de alta relevância, as quais servem tanto para informar a sociedade, quanto para permitir a detecção de suspeita de atividades de conluio e fraudes em contratos e licitações. Assim sendo, esta monografia promove a realização de um fluxo de trabalho utilizando modelos de Transformer, de forma a permitir o reconhecimento de tais entidades nos textos de publicações de diários oficiais. A partir da informação de convênios públicos foi construída uma base de publicações anotadas que permite o treinamento de dois modelos de Transformer, BERT e RoBERTa, e posteriormente a comparação entre eles. Os resultados obtidos revelaram que ambos os modelos apresentaram desempenho geral bastante semelhante, alcançando F1-Scores de 94% e 94,2%, respectivamente. Porém, com variações no desempenho por tipo de entidade.