Extração de dados com aprendizagem de máquina para processamento de informações em diários oficiais

Abstract

A aplicação de técnicas de aprendizagem de máquina em dados textuais tem crescido expo nencialmente nos últimos anos, principalmente devido à alta disponibilidade de modelos mais complexos e às enormes quantidades de dados disponíveis para esta tarefa. Para que estes dados tenham utilidade, a grande maioria dos algoritmos de aprendizagem de máquina normalmente necessita que os mesmos sejam pré-processados e anotados de alguma forma para serem utilizados no treinamento de modelos supervisionados. Um fator importante na utilização das informações obtidas de dados textuais a partir deste tipo de abordagem é que os mesmos são normalmente indexados em grandes bases de dados para busca. A correta segmentação de porções de textos a partir dos arquivos brutos pode facilitar muito a busca de informações e mesmo processamentos adicionais destes textos. No entanto, a qualidade dos dados públicos varia muito, e uma grande parte dos dados públicos disponíveis são publicados em formatos que não foram feitos para este tipo de processamento. Por exemplo, no caso dos dados publicados em diários oficiais pelos diversos entes da federação no Brasil, a maioria dos municípios e estados disponibiliza os dados em formato PDF, que apresenta diversas dificuldades, enquanto que o Diário Oficial da União (DOU) já possui protocolos de publicação que facilitam o processamento de dados. Neste trabalho realizou-se uma implementação que fosse capaz de realizar a segmentação de publicações de diários oficiais a partir dos arquivos PDF provenientes dos repositórios oficiais em que estas publicações são disponibilizadas ao público em geral. A implementação realizada fez uso de técnicas de aprendizado supervisionado e testou-se diversos modelos esparsos disponíveis nas principais ferramentas de bibliotecas públicas para verificar e comparar o seu desempenho utilizando um benchmark previamente definido.