Explorando o Potencial e a Viabilidade de LLMs Open-Source na Análise de Sentimentos - Neves, Breno Braga; Sousa, Theo; Coutinho, Daniel; Garcia, Alessandro; Pereira, Juliana Alves (Anais Estendidos do Congresso Brasileiro de Software: Teoria e Prática (CBSoft); 2024: Anais Estendidos do XV Congresso Brasileiro de Software: Teoria e Prática, 2024)
Ferramentas de análise de sentimentos são amplamente usadas em SE para entender a comunicação de desenvolvedores em ambientes colaborativos, como o GitHub. Como as ferramentas de ponta podem apresentar limitações de desempenho, novos LLMs têm sido adotados, embora sejam computacionalmente caros. Este estudo avalia três modelos open-source: Lllama3, Gemma e Mistral. Utilizando dados de discussões do GitHub, investigamos o desempenho desses modelos e como a engenharia de prompts impacta os resultados. Os resultados indicam que os LLMs open-source oferecem desempenho semelhante às ferramentas de ponta, sendo alternativas viáveis e econômicas. Também analisamos as vantagens e limitações das diferentes estratégias de prompt.