Development of a chatbot for assisting with administrative information in public universities

Abstract

As universidades públicas no Brasil enfrentam uma pressão crescente para melhorar a eficiênciadosserviçosadministrativos, regidospornormasinstitucionaiscomplexas. Muitas tarefas de serviço público podem ser automatizadas por meio de chatbots inteligentes, reduzindo a carga de trabalho do pessoal administrativo e permitindo que a comunidade acadêmica acesse informações confiáveis de forma rápida e centralizada. Isso nos motivou a propor um chatbot baseado em modelos de linguagem grandes (LLMs) para auxiliar estudantes e funcionários no tratamento de procedimentos administrativos relacionados a regulamentos universitários, políticas internas e outras diretrizes oficiais. O chatbot foi personalizado usando uma coleção curada de documentos oficiais, incluindo estatutos, decretos e resoluções da Universidade de Brasília e de seu Departamento de Ciência da Computação, e integra busca semântica para gerar respostas contextualmente precisas. Foram realizados experimentos utilizando métricas quantitativas de estado da arte — como BLEU, ROUGE e METEOR — em um corpus padrão-ouro de Perguntas Frequentes para comparar as abordagens baseadas em RAG e em fine-tuning. Os resultados demonstraram que o modelo Mistral com fine-tuning produziu as respostas mais precisas no geral, enquanto a abordagem RAG utilizando Gemma e MiniLM alcançou altas pontuações na qualidade das respostas e na relevância do contexto. Esses resultados sugerem que modelos com fine-tuning são adequados para respostas mais precisas, enquanto chatbots baseados em RAG são mais flexíveis dado que o conteúdo institucional muda frequentemente, o que exige atualizações frequentes.