Avaliação do NeMo Guardrails como um Firewall para a Interação Usuário-LLM - Alves, Marcos Guilherme D. de Oliveira; Castro, João Victor F. de; Lima, Jean Phelipe de Oliveira; Azambuja, Antônio João Gonçalves de; Oliveira, Leonardo Barbosa; Soares, Anderson da Silva (Anais do Simpósio Brasileiro de Cibersegurança (SBSeg); 2025: Anais do XXV Simpósio Brasileiro de Cibersegurança, 2025)
Neste artigo é analisado o NeMo Guardrails, Modelo de Linguagem em Larga Escala (LLM) que tem como papel atuar como um firewall durante interações usuário-LLM. O objetivo é avaliar seu desempenho na identificação de tentativas maliciosas dentro do contexto dessas interações, como jailbreaking e prompt injection. Foi utilizado o Do Not Answer dataset para a tarefa de classificação do modelo dentre as classes Seguro ou Inseguro. A avaliação consistiu em uma análise por categoria de risco; do cálculo de métricas de classificação binária; e da Taxa de Compensação, uma nova métrica proposta neste trabalho. O F1 Score apresenta um possível trade-off entre Precisão e Sensibilidade.