Desenvolvimento de benchmark e análise experimental de RAG na recuperação de informações do Diário Oficial

Abstract

A recuperação de informações em documentos públicos enfrenta a escassez de benchmarks consolidados para a avaliação de tecnologias. O objetivo central deste trabalho é mitigar essa lacuna através do desenvolvimento e disponibilização do benchmark DiarioOficial-Contratos-BR-GT, um conjunto validado contendo 3.324 pares de perguntas e respostas sobre contratos públicos. Utilizando este material como base de testes, foi conduzida uma análise experimental aplicando técnicas de Recuperação Aumentada por Geração (RAG) com variadas estratégias de segmentação e busca. Os resultados dos experimentos demonstram o desempenho do sistema frente aos dados coletados. O trabalho contribui, assim, com a entrega deste benchmark, disponibilizando um recurso estruturado para testes de recuperação de informação no Diário Oficial.