Analisando a Qualidade e Eficácia de Códigos Gerados por LLMs: Um Estudo com Problemas da Plataforma LeetCode - Aquino, Bernardo; Brito, Aline; Tavares, Cleiton; Boechat, Danilo; Batisteli, João Pedro (Anais do Workshop de Visualização, Evolução e Manutenção de Software (VEM); 2025: Anais do XIII Workshop de Visualização, Evolução e Manutenção de Software, 2025)
Large Language Models (LLMs) estão revolucionando a engenharia de software ao automatizar tarefas de geração de código. Apesar do aumento na produtividade dos desenvolvedores, ainda há dúvidas sobre a qualidade e taxa de acerto do código gerado. Este trabalho investiga a eficácia e qualidade de 2.464 respostas de código gerado via GPT-4, Gemini, Claude 3 Haiku e Llama 3.1 em 616 problemas do LeetCode em Python. Os resultados mostram taxas de acertos superiores a 50%. A análise também revela que o resultado é sensível à formulação do problema e que, embora o código gerado acumule um débito técnico expressivo (2.8K problemas de manutenibilidade e 13.9K de dívida técnica), a incidência média por resposta individual permanece baixa.