Detecção de Ameaças Zero-Day em Tráfego Criptografado TLS 1.3 com LSTM-MAE e Janelas Deslizantes

• Ezekiel Netto UFSM
• Mikael Fontoura UFSM
• Gabriel Stiegemeier UFSM
• Marcia Henke UFSM

DOI: https://doi.org/10.5753/errc.2026.36285

Resumo

Este trabalho investiga a detecção de ataques zero-day em tráfego de rede sob criptografia Transport Layer Security (TLS) 1.3, utilizando metadados estatísticos NetFlow do conjunto NF-CSE-CIC-IDS2018-v2. Um Masked Autoencoder recorrente (LSTM-MAE) extrai padrões temporais de janelas deslizantes e alimenta um classificador XGBoost na decisão final. Ao isolar a classe Infiltration para emular um ataque inédito e furtivo, os experimentos indicaram desempenho insatisfatório tanto do limiar de reconstrução isolado quanto do modelo híbrido, com sensibilidade (recall) nula do XGBoost. Os resultados sugerem que, no espaço reduzido de atributos do NetFlow, a infiltração não é detectável como desvio em relação ao benigno (ROC-AUC do erro de reconstrução de 0,51), o que aponta uma possível limitação dos modelos baseados em erro de reconstrução e o aprendizado contrastivo como direção promissora.

Referências

Barut, O., Luo, Y., Li, P., and Zhang, T. (2023). R1dit: Privacy-preserving malware traffic classification with attention-based neural networks. IEEE Transactions on Network and Service Management, 20:2071–2085.

Bouidaine, A. B., Moussaoui, D., Hadjila, M., Ferhi, W., and Hachemi, M. H. (2025). Deep learning-based anomaly and intrusion detection using the cse-cic-ids2018 dataset. Engineering, Technology & Applied Science Research, 15:24782–24787.

Corsini, A. and Yang, S. J. (2023). Are existing out-of-distribution techniques suitable for network intrusion detection? In 2023 IEEE Conference on Communications and Network Security (CNS), pages 1–9. IEEE.

Deldar, F. and Abadi, M. (2023). Deep learning for zero-day malware detection and classification: A survey. ACM Comput. Surv., 56(2).

Elsayed, M. S., Le-Khac, N.-A., Dev, S., and Jurcut, A. D. (2020). Network anomaly detection using lstm based autoencoder. In Proceedings of the 16th ACM Symposium on QoS and Security for Wireless and Mobile Networks, pages 37–45. ACM.

Fang, C., Mi, W., Han, P., and Zhai, L. (2022). A method of network traffic anomaly detection based on packet window transformer. In 2022 7th IEEE International Conference on Data Science in Cyberspace (DSC), pages 199–205.

Grinsztajn, L., Oyallon, E., and Varoquaux, G. (2022). Why do tree-based models still outperform deep learning on typical tabular data? In Advances in Neural Information Processing Systems (NeurIPS), volume 35, pages 507–520.

Ma, H., Zhang, W., Zhang, D., and Chen, B. (2025). An iot intrusion detection framework based on feature selection and large language models fine-tuning. Scientific Reports, 15:21158.

Sarhan, M., Layeghy, S., Moustafa, N., and Portmann, M. (2021). NetFlow Datasets for Machine Learning-Based Network Intrusion Detection Systems, page 117–135. Springer International Publishing.

Sarhan, M., Layeghy, S., and Portmann, M. (2022). Towards a standard feature set for network intrusion detection system datasets. Mobile Networks and Applications, 27(1):357–370.

Wei, Y., Jang-Jaccard, J., Sabrina, F., Xu, W., Camtepe, S., and Dunmore, A. (2023). Reconstruction-based LSTM-autoencoder for anomaly-based DDoS attack detection over multivariate time-series data. Preprint, arXiv:2305.09475.

Wilkie, J., Hindy, H., Michie, C., Tachtatzis, C., Irvine, J., and Atkinson, R. (2026). A novel contrastive loss for zero-day network intrusion detection. IEEE Transactions on Network and Service Management, 23:2064–2076.

Xu, C., Zhan, Y., Chen, G., Wang, Z., Liu, S., and Hu, W. (2025). Elevated few-shot network intrusion detection via self-attention mechanisms and iterative refinement. PLOS ONE, 20:e0317713.