Avaliação de Risco usando Engenharia de Prompt em LLMs - Labaki, Arthur P.; Pinto, Gustavo R.; Miani, Rodrigo S. (Anais do Simpósio Brasileiro de Cibersegurança (SBSeg); 2026: Anais do XXVI Simpósio Brasileiro de CibersegurançaDO - 10.5753/sbseg.2026.26985, 2026)
Modelos de Linguagem de Grande Escala (LLMs) têm sido explorados como ferramentas de apoio à avaliação de risco em cibersegurança, mas evidências anteriores indicam que tendem a subestimar riscos em comparação com profissionais da área. Este artigo avalia se estratégias de engenharia de prompt melhoram o alinhamento entre avaliações de risco produzidas por LLMs e por humanos, utilizando um cenário baseado nos CIS Controls com 18 perguntas, avaliações de 50 profissionais, cinco famílias de LLMs e 16 condições de prompt, totalizando 7.200 avaliações individuais. Os resultados mostram que prompts focados em análise de evidências, lacunas, cobertura parcial e auditabilidade reduziram o gap entre LLMs e humanos, com a melhor estratégia reduzindo o MAE em 38,9% em relação a profissionais seniores e especialistas. Ainda assim, as LLMs continuaram atribuindo notas inferiores às humanas, reforçando seu uso como ferramentas de apoio, e não como avaliadores autônomos de risco.