Uma Abordagem para a Otimização do Aprendizado de Agentes Durante o Sequenciamento de Ataques Cibernéticos em Cenários Desconhecidos e Dinâmicos - Horta, Antonio; Goldschmidt, Ronaldo; Salles, Ronaldo; Santos, Anderson dos (Anais Estendidos do Simpósio Brasileiro de Cibersegurança (SBSeg); 2026: Anais Estendidos do XXVI Simpósio Brasileiro de CibersegurançaDO - 10.5753/sbseg_estendido.2026.31663, 2026)
No contexto do aprendizado de máquina de agentes em ataques cibernéticos, a eficiência considera questões relacionadas ao tempo de execução, à economia de recursos e às recompensas alcançadas nos treinamentos. O estado da arte é caracterizado pelo uso do aprendizado por reforço (RL) para o treinamento de agentes em ataques a cenários desconhecidos e dinâmicos. Entretanto, à natureza exploratória do RL, pode comprometer a eficiência no treinamento de agentes. Diante do exposto, a tese levanta a hipótese de que o treinamento de agentes para a execução de ataques cibernéticos, em cenários desconhecidos e dinâmicos, será mais eficiente ao incorporar a minimização das falhas do sequenciamento como o fator central da função recompensa do RL. Com o objetivo de tornar o treinamento de agentes mais eficiente no sequenciamento de técnicas que compõem um ataque cibernético, a tese propõe o algoritmo de RL Kill Chain Unscrambler (KCU). Sua arquitetura é baseada em uma lógica de árvores de decisão e incorpora o módulo catalisador Kill Chain Catalyst (KCC), inspirado no alinhamento genético, cuja função é priorizar o uso de sequências que acelerem o RL. Experimentos compararam o desempenho do KCU e do KCC, frente aos principais algoritmos de RL em um CTF. Os resultados indicaram um aprendizado mais eficiente para os agentes treinados com uso do KCU e do KCC.