Uso de IA generativa na geração automática de casos de teste unitários

Abstract

A área de Inteligência Artificial (IA) tem experimentado um crescimento significativo e uma crescente popularização nos últimos anos, assim como as aplicações de software, que se tornam cada vez mais complexas. Esse avanço torna a fase de teste do ciclo de desenvolvimento de software uma parte significativa dos custos e do tempo envolvidos, sendo uma das atividades mais demoradas, mesmo com a introdução de ferramentas de automação. Com o progresso das tecnologias de IA, especialmente com os modelos conhecidos como Large Language Models (LLMs), surge uma nova possibilidade: a automatização não apenas da execução dos testes, mas também de sua geração. O GPT (Generative Pre-trained Transformer), uma das implementações mais avançadas de LLM desenvolvidas pela OpenAI, é capaz de compreender e gerar texto de forma contextualizada. Nesse contexto, esta pesquisa utiliza o modelo GPT para gerar casos de teste unitários e compara-os com aqueles desenvolvidos manualmente por programadores avaliando a eficácia e a precisão dos testes gerados pela IA. O objetivo principal é analisar a capacidade das ferramentas LLM na geração de testes, buscando compreender se tais tecnologias poderiam ser uma alternativa viável para mitigar os custos e o esforço associados à criação de testes unitários no ciclo de desenvolvimento de software. A metodologia envolveu a criação de scripts e prompts personalizados para gerar e executar os testes, além de coletar métricas de cobertura de código. Os resultados revelaram um aumento expressivo na quantidade de testes unitários, mas com impacto mínimo na cobertura e uma taxa significativa de falhas nos testes gerados, evidenciando limitações na assertividade e eficácia do GPT. Isso indica que, o modelo ainda não é capaz de substituir completamente o trabalho humano nessa tarefa. Conclui-se que as ferramentas LLM têm potencial como apoio para desenvolvedores, mas ainda requerem avanços para uma automação mais confiável e eficaz da geração de testes unitários