Utilização de RAG na criação de chatbot para auxílio na atenção básica de saúde

Abstract

Os sistemas de Recuperação Aumentada por Geração (RAG) têm se mostrado uma abordagem promissora para o desenvolvimento de chatbots que utilizam grandes modelos de linguagem (LLMs) como base para fornecer respostas contextualizadas. Este estudo investiga a viabilidade de um chatbot RAG aplicado ao contexto da saúde, avaliando seu desempenho técnico e explorando diferentes configurações de segmentação e indexação dos documentos de conhecimento. Para isso, foi desenvolvido um chatbot no Telegram que utiliza a um sistema de RAG para responder a perguntas, integrando o LLama3 e o VectorStore ChromaDB para recuperação eficiente da informação. O sistema foi avaliado por meio de uma pipeline automatizada utilizando o framework RAGAS, onde 18 configurações distintas do RAG foram testadas com 200 perguntas baseadas em documentos reais da área da saúde. Os resultados indicam que o chatbot apresentou um desempenho consistente e adequado para o suporte à saúde, sem diferenças estatisticamente significativas entre as diferentes configurações analisadas. No entanto, os desafios na avaliação automatizada de modelos de linguagem ainda representam um fator crítico, sugerindo a necessidade de investigações futuras que integrem avaliações humanas ao processo.