Avaliação do Impacto de DP-SGD em Modelos Otimizados com Tinyml

• Davi Bezerra Yada da Silva UFC
• Aldri Luiz dos Santos UFMG
• Jeandro de M. Bezerra UFC / UFMG

DOI: https://doi.org/10.5753/sbseg.2025.11481

Resumo

Os modelos de aprendizado profundo (MAP) são aplicados na detecção de ataques e anomalias em redes IoT. O paradigma tiny machine learning (tinyml) viabiliza a execução local desses modelos com baixo consumo de recursos e maior privacidade. No entanto, MAPs ainda podem vazar dados por ataques adversariais. Este trabalho implementa uma rede feedforward para classificação e um autoencoder para detecção de anomalias, treinados com DP-SGD no conjunto IoT-23. Os modelos foram otimizados com tinyML e implementados em um Raspberry Pi 4. O modelo feedforward manteve 87% de acurácia com privacidade alta (ϵ = 0.5), enquanto a otimização reduziu em até 91% o tamanho dos modelos, 82% o uso de RAM e 80% o tempo de execução. A combinação de privacidade diferencial e tinyML mostrou-se viável para segurança em dispositivos de borda.

Referências

Abadi, M., Chu, A., Goodfellow, I., McMahan, H. B., Mironov, I., Talwar, K., and Zhang, L. (2016). Deep learning with differential privacy. In Proceedings of the 2016 ACM SIGSAC conference on computer and communications security, pages 308–318.

Bezerra, E. (2016). Introdução à aprendizagem profunda. Artigo–31º Simpósio Brasileiro de Banco de Dados–SBBD2016–Salvador.

Chua, L., Ghazi, B., Kamath, P., Kumar, R., Manurangsi, P., Sinha, A., and Zhang, C. (2024). How private is dp-sgd? arXiv preprint arXiv:2403.17673.

Dutta, L. and Bharali, S. (2021). Tinyml meets iot: A comprehensive survey. Internet of Things, 16:100461.

Dwork, C. (2006). Differential privacy. In International colloquium on automata, languages, and programming, pages 1–12. Springer.

Hubara, I., Nahshan, Y., Hanani, Y., Banner, R., and Soudry, D. (2021). Accurate post training quantization with small calibration sets. In International Conference on Machine Learning, pages 4466–4475. PMLR.

Huckelberry, J., Zhang, Y., Sansone, A., Mickens, J., Beerel, P. A., and Reddi, V. J. (2024). Tinyml security: Exploring vulnerabilities in resource-constrained machine learning systems. arXiv preprint arXiv:2411.07114.

Li, P., Pei, Y., and Li, J. (2023). A comprehensive survey on design and application of autoencoder in deep learning. Applied Soft Computing, 138:110176.

Nurmi, J., Xu, Y., Boutellier, J., and Tan, B. (2023). Sphere-dna: Privacy-preserving federated learning for ehealth. In 2023 Design, Automation & Test in Europe Conference & Exhibition (DATE), pages 1–6. IEEE.

Pustozerova, A., Baumbach, J., and Mayer, R. (2023). Differentially private federated learning: Privacy and utility analysis of output perturbation and dp-sgd. In 2023 IEEE International Conference on Big Data (BigData), pages 5549–5558. IEEE.

Radwan, A. Y., Shehab, M., and Alouini, M.-S. (2024). Tinyml nlp approach for semantic wireless sentiment classification. arXiv preprint arXiv:2411.06291.

Reis, C. H. (2021). Otimização de hiperparâmetros em redes neurais profundas. Minas Gerais.

Saranya, T., Jeyamala, D., Indra Priyadharshini, S., et al. (2024). A secure framework for miot: Tinyml-powered emergency alerts and intrusion detection for secure real-time monitoring. In 2024 8th International Conference on I-SMAC (IoT in Social, Mobile, Analytics and Cloud)(I-SMAC), pages 13–21. IEEE.

TensorFlow Privacy Team (2024). Dpkerasadamoptimizer: Differentially private adam optimizer for keras. [link]. Acesso em: 10 abr. 2025.

Vidal, I. d. C. (2020). Protecting: garantindo a privacidade de dados gerados em casas inteligentes localmente na borda da rede.

Zhou, H., Zhang, X., Feng, Y., Zhang, T., and Xiong, L. (2025). Efficient human activity recognition on edge devices using deepconv lstm architectures. Scientific Reports, 15(1):13830.