LLMs and Prompt Engineering for Automated Incident Classification in SOCs - Severo, Alex Sandre Pinheiro; Lautert, Douglas Paim; Almeida, Gefté Alcantara de; Kreutz, Diego; Rodrigo, Godinho; Pereira Jr, Lourenco A.; Bertholdo, Leandro M. (Companion Proceedings of the Brazilian Symposium on Cybersecurity (SBSeg), 2025)
Neste trabalho, avaliamos o uso de LLMs e engenharias de prompt para automatizar a classificação de incidentes de segurança em SOCs, buscando acelerar a resposta e aprimorar a qualidade das ações (e.g., seleção de playbooks), o que pode reduzir o tempo de resposta das empresas. Testamos três estratégias de prompting (PHP, SHP, HTP) em quatro LLMs (Gemini 2, GPT-4, LLaMA 4 e Grok 3) usando dados reais de CSIRTs e SOCs de empresas brasileiras. Nossos resultados indicam que o GEMINI alcançou 92,27% de acurácia em relação às classificações humanas ao usar PHP, enquanto as outras combinações de técnicas e LLMs demonstraram alguma variabilidade, o que pode afetar sua confiabilidade em cenários sensíveis.