Humano ou Máquina? Avaliando a Performance de Modelos de Linguagem como Juízes no Teste de Turing - Coelho, Jailton Junior de Sousa; Ferrari, Maria Luiza Souza; Neves, Maria Eloize das; Cochinski, Amanda Vitória; Oliveira, Laura Soares Correa de; Teixeira, Ane Thayne de Oliveira; Pedroso, Estefany da Silva; Floriano, Alan (Anais do Congresso Latino-Americano de Software Livre e Tecnologias Abertas (Latinoware); 2025: Anais do XXII Congresso Latino-Americano de Software Livre e Tecnologias Abertas, 2025)
Este artigo investiga a capacidade de Large Language Models (LLMs) atuarem como avaliadores em um Teste de Turing Invertido, no qual a máquina tenta discernir se seu interlocutor é humano ou outra IA. Foram realizados experimentos com ChatGPT (OpenAI), LLaMA (Meta) e Claude (Anthropic), totalizando 270 entrevistas curtas. Em um ambiente de chat controlado, os modelos atuaram como entrevistadores, conduzindo conversas informais e classificando o interlocutor como humano ou IA apenas pelo conteúdo textual. O estudo também analisou a capacidade de cada modelo de se autoavaliar em interações consigo mesmo. Os resultados mostraram que distinguir entre interlocutores humanos e artificiais continua sendo um grande desafio. O ChatGPT obteve a maior precisão (47,8%), embora com erros recorrentes. LLaMA e Claude tiveram desempenhos inferiores, com 5,6% e 2,2%, respectivamente. No geral, a taxa de acerto das IAs entrevistadoras foi de 18,5%.