Avaliação do impacto de LLM's com RAG e método socrático no aprendizado de algoritmos e programação de computadores

Abstract

Este trabalho investiga o impacto do uso de Grandes Modelos de Linguagem (LLMs) com Retrieval-Augmented Generation (RAG) e método socrático no aprendizado inicial de Algoritmos e Programação de Computadores (APC). O uso indiscriminado de LLMs pode levar à dependência em respostas prontas, prejudicando a construção do conheci mento. Foi desenvolvido um tutor inteligente que utiliza LLM com RAG aliado ao método socrático, comparando sua eficácia com um LLM sem RAG que fornece respostas diretas. O experimento foi conduzido com estudantes da disciplina de APC da Universidade de Brasília ao longo de três semanas, coletando 144 respostas ao questionário de percepção e 201 respostas de desempenho. Os resultados revelam um tradeoff entre usabilidade e pedagogia: a IA Azul (RAG + método socrático) foi significativamente superior em guiar sem respostas diretas (+0,99 pontos, p < 0,001, teste de Wilcoxon pareado, n=35) e promover compreensão de conceitos avançados (+0,54 pontos, p = 0,023), enquanto a IA Verde (respostas diretas) apresentou melhor usabilidade (-0,28 pontos, p = 0,035, teste de Wilcoxon pareado) e maior desempenho imediato (7,45 vs 4,27). Não foram encon tradas diferenças significativas em satisfação geral (p = 0,810), aprendizado percebido (p = 0,891) e engajamento (p = 0,489). O perfil do estudante não influenciou significativa mente a percepção, e a implementação demonstrou viabilidade econômica (R$ 0,0022 por requisição). Os resultados indicam que cada abordagem é mais adequada para objetivos pedagógicos específicos: IA Azul para aprendizado profundo e autonomia, IA Verde para conclusão eficiente de tarefas.