Avaliação de qualidade de um corpo de textos padrão-ouro de publicações oficiais

Abstract

Publicações oficiais são o meio pelo qual os atos do governo são divulgados à sociedade. Esses documentos são uma rica fonte de informações, ao mesmo tempo que se constituem como um desafio para tarefas de extração de conhecimento. Diversas fontes contribuem para a redação de tais documentos, de maneira que a variabilidade de escrita resultante constitui-se como um obstáculo ao emprego de abordagens de descoberta de conheci mento pautadas em regras. No entanto, esse mesmo panorama é um incentivador de procedimentos feitos com aprendizado de máquina. Nesse contexto, este trabalho visa propor uma metodologia para a criação de um corpo de textos padrão-ouro formado por publicações do Diário Oficial do Distrito Federal visando tarefas de reconhecimento de entidades nomeadas e classificação. A metodologia consiste de um processo para anotação de dados textuais de maneira colaborativa e da avaliação da qualidade dos textos anota dos. Os resultados da aplicação da metodologia proposta utilizando dados rotulados do Diário Oficial do Distrito Federal indicaram que o corpo de textos construído apresenta alto grau de concordância entre os anotadores em relação à anotação a nível de entidades. Assim, os procedimentos descritos se mostraram apropriados para avaliar a qualidade de conjuntos de dados textuais quanto à rótulos, blocos de texto e aplicabilidade real em tarefas de aprendizado de máquina.