Three Filters : analisador de informações científicas

Abstract

O sistema Three Filters foi estruturado com o objetivo de assegurar a qualidade e integridade de metadados científicos em formato JSON, lidando com problemas relacionados à corretude estrutural, corretude informacional e completude dos dados. O método adotado compreende quatro etapas fundamentais: o Filtro de Cleaning, que retira campos desnecessário para a análise; o Filtro de Corretude Estrutural, que garante que os registros sigam a estrutura predefinida; o Filtro de Corretude Informacional, que valida o conteúdo dos campos através de expressões regulares (RegEx) configuradas; o Filtro de Completude, que calcula a completude dos registros. Esses filtros trabalham de maneira sequencial, filtrando registros inválidos e movendo-os para um Dataset Error, enquanto os registros válidos são incorporados a um novo Dataset validado. O sistema visa otimizar a qualidade dos metadados em grandes volumes de registros científicos. Os resultados esperados incluem a melhoria na qualidade dos registros processados, permitindo uma análise mais confiável e precisa. Em suma, o Three Filters pretende proporcionar uma solução eficaz para a validação de metadados científicos, contribuindo para a consistência dos dados em repositórios autodeclarados e para o ecossistema de informações científicas em geral.