Classificação de publicações em diários oficiais utilizando aprendizagem de máquina e processamento de linguagem natural

Abstract

De forma a impulsionar o avanço de tecnologias que lidam com a grande quantidade de informação gerada pelo mundo moderno e auxiliar no combate à corrupção, o presente trabalho buscou desenvolver uma metodologia de classificação de publicações relacionadas ao processo licitatório de obras públicas, disponíveis no Diário Oficial da União, quanto ao tipo de publicação, sendo esse um problema de classificação multiclasse de texto. Para isso, foi reunido um conjunto de dados com 4.181.390 publicações, o qual somado ao uso de técnicas de aprendizagem de máquina e processamento de linguagem natural, possibilitaram a simulação de processos de classificação reais considerando diferentes cenários. Foram testados 14 modelos lineares clássicos diferentes na resolução do problema, os quais tiveram seus desempenhos medidos e comparados por meio do cálculo de métricas estatísticas derivadas da matriz de confusão multiclasse. Os resultados obtidos foram capazes de manter o nível de qualidade do que seria o trabalho de um ser humano capacitado, tendo o modelo LinearSVM-L2 atingido um F1-score de 97.88% em um dos cenários, mostrando que as técnicas utilizadas são muito eficazes na resolução de problemas dessa natureza e abrindo caminho para a resolução de problemas mais complexos.