Estudo de caso: uso do ChatGPT para resolução de problemas de programação - Souza, Débora; Gheyi, Rohit (Anais Estendidos do Congresso Brasileiro de Software: Teoria e Prática (CBSoft), 2023)
A geração de programas a partir de linguagem natural visa transformar frases em código de programação. O ChatGPT, baseado no modelo GPT-3, é um chatbot capaz de gerar texto e código como humano. Para avaliar sua corretude no contexto de programação, foram selecionados aleatoriamente 100 problemas de programação, distribuídos entre os graus de complexidade Fácil, Intermediário e Difícil, de plataformas populares para serem resolvidas pelo modelo. Ao longo de 3 tentativas, o ChatGPT acertou 71 problemas, sendo 50 da plataforma LeetCode e 21 da plataforma BeeCrowd, os 29 problemas não solucionados estão majoritariamente distribuídos entre os graus de complexidade Intermediário e Difícil. Nesse contexto, o estudo demonstra que a utilização do ChatGPT pode ser benéfica para os programadores, pois o modelo é capaz de fornecer exemplos de código com soluções para seus desafios. No entanto, também evidencia que o ChatGPT não atinge uma precisão de 100%, portanto, os programadores não devem considerá-lo como um substituto completo.