AutoMHS-GPT: Automação de Seleção de Modelos e Hiperparâmetros por meio de Modelo Generativo para Detecção de Anomalias em Redes Veiculares

• Lucas Airam C. de Souza UFRJ / INRIA Saclay
• Matteo Sammarco Independent Researcher
• Nadjib Achir INRIA Saclay
• Miguel Elias M. Campista UFRJ
• Luís Henrique M. K. Costa UFRJ

DOI: https://doi.org/10.5753/sbrc.2024.1514

Resumo

O Aprendizado de Máquina Automatizado surge como alternativa para reduzir o tempo de instanciação dos sistemas ao acelerar o processo de busca por modelos e hiperparâmetros. Essas técnicas, porém, ainda demandam alto tempo de execução. Em aplicações críticas, como a detecção de intrusão em redes veiculares, o atraso para a aplicação de contramedidas pode ocasionar catástrofes. Assim, é essencial garantir modelos acurados no menor tempo possível para detectar as ameaças de forma eficaz. Este trabalho propõe o AutoMHS-GPT, um sistema que utiliza a inteligência artificial generativa para reduzir o tempo de definição de hiperparâmetros e modelos na implantação do aprendizado de máquina para detecção de ameaças em redes veiculares. A partir de uma descrição do problema, o modelo generativo retorna um texto contendo o modelo adequado com os seus hiperparâmetros para o treinamento. Os resultados mostram que o AutoMSH-GPT produz modelos com maior desempenho de classificação de ameaças em comparação com abordagens de aprendizado de máquina automatizado avaliadas, AutoKeras e Auto-Sklearn, apresentando uma revocação 9% maior no melhor caso. Além disso, a proposta atual reduz o processo de busca e treinamento de modelos, realizando a tarefa em cerca de 30 minutos, enquanto os demais arcabouços avaliados necessitam entre dois a três dias.

Referências

Bisong, E. e Bisong, E. (2019). Google AutoML: Cloud Vision. Building Machine Learning and Deep Learning Models on Google Cloud Platform: A Comprehensive Guide for Beginners, páginas 581–598.

Bousalem, B. et al. (2023). DDoS Attacks Mitigation in 5G-V2X Networks: A Reinforcement Learning-Based Approach. Em International Conference on Network and Service Management (CNSM), páginas 1–5. IEEE.

Choi, S., Kim, J. e Yeo, H. (2021). TrajGAIL: Generating Urban Vehicle Trajectories using Generative Adversarial Imitation Learning. Transportation Research Part C: Emerging Technologies, 128:103091.

Chougule, A., Agrawal, K. e Chamola, V. (2023). SCAN-GAN: Generative Adversarial Network Based Synthetic Data Generation Technique for Controller Area Network. Internet of Things Magazine, 6(3):126–130.

Cobilean, V. et al. (2023). Anomaly Detection for In-Vehicle Communication Using Transformers. Em Industrial Electronics Society (IECON), páginas 1–6. IEEE.

Du, H. et al. (2023). Spear or Shield: Leveraging Generative AI to Tackle Security Threats of Intelligent Network Services. arXiv preprint arXiv:2306.02384.

Farsi, M., Ratcliff, K. e Barbosa, M. (1999). An Overview of Controller Area Network. Computing & Control Engineering Journal, 10(3):113–120.

Feurer, M. et al. (2015). Efficient and Robust Automated Machine Learning. Advances in Neural Information Processing Systems (NIPS), 28.

Gupta, M., Akiri, C., Aryal, K., Parker, E. e Praharaj, L. (2023). From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy. arXiv preprint arXiv:2307.00691.

Horváth, T. et al. (2023). Hyper-Parameter Initialization of Classification Algorithms using Dynamic Time Warping: A Perspective on PCA Meta-Features. Applied Soft Computing.

Jacobs, A. S. et al. (2021). Hey, LUMI! Using Natural Language for Intent-Based Network Management. Em Annual Technical Conference (ATC), páginas 625–639. USENIX.

Jin, H., Song, Q. e Hu, X. (2019). Auto-Keras: An Efficient Neural Architecture Search System. Em International Conference on Knowledge Discovery & Data Mining (SIGKDD), páginas 1946–1956. ACM.

Jüttner, V., Grimmer, M. e Buchmann, E. (2023). ChatIDS: Explainable Cybersecurity Using Generative AI. arXiv preprint arXiv:2306.14504.

Kamel, J., Wolf, M., Van Der Hei, R. W., Kaiser, A., Urien, P. e Kargl, F. (2020). VeReMi Extension: A Dataset for Comparable Evaluation of Misbehavior Detection in VANETs. Em International Conference on Communications (ICC), páginas 1–6. IEEE.

Kumar, S. et al. (2021). Exploring the Limits of Concurrency in ML Training on Google TPUs. Proceedings of Machine Learning and Systems, 3:81–92.

LeDell, E. e Poirier, S. (2020). H2O AutoML: Scalable Automatic Machine Learning. Em AutoML Workshop (ICML). International Machine Learning Society.

Mu, T. et al. (2022). Auto-CASH: A Meta-Learning Embedding Approach for Autonomous Classification Algorithm Selection. Information Sciences, 591:344–364.

Neto, H. N. C., Dusparic, I., Mattos, D. M. e Fernande, N. C. (2022). FedSA: Accelerating Intrusion Detection in Collaborative Environments with Federated Simulated Annealing. Em International Conference on Network Softwarization (NetSoft), páginas 420–428. IEEE.

OpenAI (2023). ChatGPT: Optimizing Language Models for Dialogue. Available at: [link]. Último acesso: 28 de janeiro de 2024.

Paleyes, A., Urma, R.-G. e Lawrence, N. D. (2022). Challenges in Deploying Machine Learning: a Survey of Case Studies. Computing Surveys, 55(6):1–29.

Pedregosa, F. et al. (2011). Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, 12:2825–2830.

Thornton, C. et al. (2013). Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms. Em International Conference on Knowledge Discovery and Data Mining (SIGKDD), páginas 847–855. ACM.

Van Der Heijden, R. W., Lukaseder, T. e Kargl, F. (2018). VeReMi: A Dataset for Comparable Evaluation of Misbehavior Detection in VANETs. Em Security and Privacy in Communication Networks (SecureComm), páginas 318–337. Springer.

Vinita, L. J. e Vetriselvi, V. (2023). Federated Learning-based Misbehaviour Detection on an Emergency Message Dissemination Scenario for the 6G-enabled Internet of Vehicles. Ad Hoc Networks, 144:103153.

Yakan, H., Fajjari, I., Aitsaadi, N. e Adjih, C. (2023). Federated Learning for V2X Misbehavior Detection System in 5G Edge Networks. Em Conference on Modeling Analysis and Simulation of Wireless and Mobile Systems, páginas 155–163. ACM.

Zhang, R. et al. (2023). Generative AI-enabled Vehicular Networks: Fundamentals, Framework, and Case Study. arXiv preprint arXiv:2304.11098.

Zhao, Q., Chen, M., Gu, Z., Luan, S., Zeng, H. e Chakrabory, S. (2022). CAN Bus Intrusion Detection Based on Auxiliary Classifier GAN and Out-of-distribution Detection. Transactions on Embedded Computing Systems (TECS), 21(4):1–30.