Avaliação simétrica de detecção e over-blocking na geração de políticas OPA/Rego por LLMs - Rodrigues, Eduardo; Santin, Altair Olivo; Viegas, Eduardo K.; Veiga, Fellipe Medeiros (Anais Estendidos do Simpósio Brasileiro de Cibersegurança (SBSeg); 2026: Anais Estendidos do XXVI Simpósio Brasileiro de Cibersegurança, 2026)
As métricas usadas para avaliar geração de políticas policy-as-code por LLMs medem detecção, mas quase nunca especificidade. Propomos a strict pass@1, métrica pareada construída sobre avaliação por plano dual: a política precisa disparar no plano Terraform vulnerável e ficar silenciosa no plano seguro espelhado (minimal pair). Em 30 cenários, 5 LLMs e 900 execuções (K = 3), comparamos Zero-shot (ZS) e Recursive Criticism and Improvement (RCI) com Compiler-in-the-Loop. O RCI aumenta a aprovação na verificação estática e a detecção, mas piora a strict pass@1 em quatro dos cinco modelos. No gpt-4o a queda vai de 28,9% a 0,0% por execução, sem que nenhum dos 30 cenários produzisse política utilizável sob RCI (p = 0,004, teste pareado por cenário). Medir apenas detecção, portanto, não caracteriza a utilidade operacional das políticas geradas.