Avaliação Comparativa do GitHub Copilot e do Amazon CodeWhisperer na Geração Automática de Código-Fonte - Miranda, Pedro C.; Andrade, Michelle Hanne S. de (Anais Estendidos do Congresso Brasileiro de Software: Teoria e Prática (CBSoft); 2024: Anais Estendidos do XV Congresso Brasileiro de Software: Teoria e Prática, 2024)
Empresas de tecnologia como Amazon e OpenAI têm investido na criação de Large Language Models (LLMs) que auxiliam desenvolvedores a gerarem códigos-fonte. Este trabalho procura avaliar a eficácia das ferramentas de geração automática de código-fonte GitHub Copilot e Amazon CodeWhisperer. Essas ferramentas usam modelos de linguagem treinados com código-fonte público do GitHub para gerar sugestões a partir de descrições em linguagem natural. Este estudo coletou 33 problemas de programação do site LeetCode, em três linguagens de programação: Python, Javascript e Java. Posteriormente, foi gerado para cada linguagem o código-fonte com o uso do GitHub Copilot e Amazon CodeWhisperer. Em seguida, os códigos-fonte gerados foram submetidos e analisados pela plataforma LeetCode. Os resultados indicam que o GitHub Copilot apresentou uma taxa de assertividade superior (77,78%) em comparação ao Amazon CodeWhisperer (64,8%), embora não tenha ocorrido diferenças significativas em termos de eficiência e legibilidade dos códigos gerados.