Avaliação da Performance e Corretude na Geração de Código Através de Técnicas de Engenharia de Prompt: Um Estudo Comparativo - Damke, Gabriel Trevisan; Gregorini, Daniel Mahl; Copetti, Luana (Anais do Congresso Latino-Americano de Software Livre e Tecnologias Abertas (Latinoware); 2024: Anais do XXI Congresso Latino-Americano de Software Livre e Tecnologias AbertasDO - 10.5753/latinoware.2024.245745, 2024)
A Engenharia de Prompt é um processo relativamente novo que desempenha um papel crucial na eficácia dos modelos de linguagem, inclusive em tarefas como a geração de código. Essa pesquisa busca comparar a performance de diferentes técnicas de engenharia de prompt na geração de código. O estudo avalia as técnicas com base em duas principais métricas: corretude e performance do código gerado. Um pequeno dataset foi manualmente criado com 12 exercícios de diferentes níveis de dificuldade, com trade-offs entre tempo e espaço. A performance foi mensurada pela capacidade de obter a resposta com complexidade assintótica ótima dado uma restrição específica. Os dados foram analisados pela óptica da métrica Pass@k onde k foi definido como 1 e 3. Foram definidos dois modelos de linguagem distintos para obter os resultados: Meta Llama 3 8B e o Google Gemma 7B.