LLMs para Detecção de Phishing em E-mails: Comparação Controlada com Baselines TF-IDF e Red Flags Auditáveis - Dorneles, Bernardo; Quincozes, Silvio (Anais Estendidos do Simpósio Brasileiro de Cibersegurança (SBSeg), 2026)
Este trabalho avalia Grandes Modelos de Linguagem, do inglês, Large Language Models (LLMs) na detecção de phishing em e-mails sob um protocolo reprodutível, controlado e orientado à cibersegurança. Comparamos quatro LLMs recentes em um mesmo conjunto avaliativo de 90 mensagens, separado de uma etapa técnica de calibração com 10 mensagens, e confrontamos os resultados com baselines TF-IDF treinadas sem vazamento do conjunto de avaliação. Entre os LLMs, o Qwen3 32B obteve o melhor desempenho e revocação perfeita para phishing, enquanto o Llama 3.3 70B apresentou o perfil mais equilibrado entre precisão e revocação. Entretanto, as baselines TF-IDF alcançaram maior F1-score bruto neste recorte textual. A contribuição, portanto, não é afirmar superioridade geral dos LLMs, mas analisar quando eles agregam valor operacional por meio de red flags auditáveis e justificativas estruturadas.