Análise de desempenho de grandes modelos de linguagem no desenvolvimento de código em python

Abstract

A crescente adoção da inteligência artificial no cotidiano levanta questões sobre seu impacto no trabalho humano. Este estudo investiga até que ponto modelos avançados de inteligência artificial podem se equiparar a um desenvolvedor de software na geração de códigos de programação, além de analisar a diferença de desempenho entre os modelos abordados. O foco está na avaliação da qualidade dos códigos gerados por esses grandes modelos de linguagem na tentativa de solucionar problemas de programação. A pesquisa utiliza métricas específicas para analisar a eficácia e a precisão dos códigos produzidos. Considerando a relevância e a falta de estudos detalhados nessa área da inteligência artificial para códigos de programação, o estudo examina a capacidade de modelos específicos que estão em destaque atualmente de resolver problemas de programação em Python. A análise se concentra em aspectos como exatidão, tempo de execução, uso de memória, presença de comentários e módulos, complexidade cognitiva e manutenabilidade. Os objetivos principais incluem enviar algumas questões de programação aos modelos, apresentar os resultados obtidos, analisar as métricas de desempenho e identificar quais modelos se destacam na compreensão e produção desses códigos.