Red Teaming an Industrial Maintenance Chatbot using PAIR and nanoGCG - Hayashi, Victor Takashi; Pagliuso Neto, Milton Pedro; Martignago, Giovanni Mandel; Miers, Charles Christian; Simplicio Junior, Marcos Antonio (Anais Estendidos do Simpósio Brasileiro de Cibersegurança (SBSeg); 2026: Anais Estendidos do XXVI Simpósio Brasileiro de CibersegurançaDO - 10.5753/sbseg_estendido.2026.26898, 2026)
Os Large Language Models (LLMs) têm sido cada vez mais adotados em ambientes industriais para suporte a atividades de manutenção, diagnóstico e tomada de decisão operacional. No entanto, sua integração a sistemas corporativos introduz novos riscos de segurança, especialmente relacionados a ataques adversariais baseados em prompts. Este trabalho apresenta uma avaliação de um chatbot de manutenção baseado em LLM, desenvolvido para uma empresa parceira do setor industrial (anonimizada). Foram avaliadas técnicas de red teaming black-box e white-box, incluindo geração automática de jailbreaks (PAIR) e otimização de prompts baseada em gradiente (nanoGCG). Os resultados revelam entradas adversariais geradas com PAIR que conseguem contornar mecanismos de segurança e induzir respostas inseguras ou violação de políticas. No cenário experimental avaliado, o PAIR demonstrou maior aplicabilidade prática e melhor relação custo-benefício em comparação ao nanoGCG, ainda que as diferenças metodológicas entre os dois experimentos (modelo vítima e LLM juiz distintos) impeçam uma comparação direta dos valores absolutos de ASR. Por fim, são discutidas implicações de segurança para a adoção de LLMs em ambientes industriais.