Análise do Aprendizado Federado em Redes Móveis

• Kaylani Bochie UFRJ
• Matteo Sammarco AXA
• Marcin Detyniecki AXA
• Miguel Elias M. Campista UFRJ

DOI: https://doi.org/10.5753/sbrc.2021.16712

Resumo

A aquisição cada vez maior de informações pessoais para personalização de serviços coloca em cheque a privacidade dos usuários. No contexto do aprendizado federado, a privacidade pode ser preservada com o compartilhamento apenas de pesos sinápticos de redes neurais entre clientes e servidores. Este trabalho avalia o impacto de diferentes parâmetros de redes de computadores no desempenho de modelos de aprendizado federado em um cenário composto por clientes móveis. Para isso, o desempenho das redes neurais convolucionais para classificação de imagens é considerado com o uso do conjunto de dados CIFAR-10. Os experimentos realizados utilizam o framework Flower para avaliar parâmetros comuns em redes móveis como latência, conectividade, volume de dados e disponibilidade dos clientes. Os resultados indicam que, além do aumento no tempo total de treinamento, um aumento no número de usuários desconectados em uma rodada de treinamento pode até mesmo reduzir o desempenho do modelo federado. Esses resultados reforçam a necessidade de orquestração cliente-servidor para adaptação dinâmica às condições de rede.

Referências

Asad et al. (2021). Evaluating the communication efficiency in federated learning algorithms. Em 2021 IEEE 24th International Conference on Computer Supported Cooperative Work in Design (CSCWD), p. 552–557.

Beutel et al. (2020). Flower: A friendly federated learning research framework. ArXiv, abs/2007.14390.

Bochie et al. (2020). Aprendizado profundo em redes desafiadoras: Conceitos e aplicações. Em Minicursos do XXXVIII Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC).

Brownlee, J. (2018). Better Deep Learning. Jason Brownlee, v1.8 edição. Cunha Neto, H., Menezes, D. e Fernandes, N. (2020). Privacidade do Usuário em Aprendizado Colaborativo: Federated Learning, da Teoria à Prática, capítulo 3. Sociedade Brasileira de Computação (SBC).

Dwork, C. e Roth, A. (2014). The algorithmic foundations of differential privacy. Foundations and Trends in Theoretical Computer Science, 9(3–4):211–407.

Hernandez Marcano et al. (2019). On fully homomorphic encryption for privacypreserving deep learning. Em 2019 IEEE Globecom Workshops (GC Wkshps), p. 1–6.

Kairouz et al. (2019). Advances and open problems in federated learning. Em Foundations and Trends in Machine Learning.

Krizhevsky, A. (2012). Learning multiple layers of features from tiny images. University of Toronto.

LeCun, Y., Bengio, Y. e Hinton, G. (2015). Deep learning. nature, 521(7553):436–444.

Li, M., Soltanolkotabi, M. e Oymak, S. (2020). Gradient descent with early stopping is provably robust to label noise for overparameterized neural networks. Em Chiappa, S. e Calandra, R., editores, Proceedings of the Twenty Third International Conference on Articial Intelligence and Statistics, volume 108 of Proceedings of Machine Learning Research, p. 4313–4324. PMLR.

Li et al. (2019). Privacy-preserving federated brain tumour segmentation. Em Suk, H.I., Liu, M., Yan, P. e Lian, C., editores, Machine Learning in Medical Imaging, p. 133–141, Cham. Springer International Publishing.

Lim et al. (2020). Federated learning in mobile edge networks: A comprehensive survey. IEEE Communications Surveys & Tutorials, 22(3):2031–2063.

McMahan et al. (2017). Communication-efficient learning of deep networks from decentralized data. Em Singh, A. e Zhu, J., editores, Proceedings of the 20th International Conference on Articial Intelligence and Statistics, volume 54 of Proceedings of Machine Learning Research, p. 1273–1282, Fort Lauderdale, FL, USA. PMLR.

Narayanan, A. e Shmatikov, V. (2008). Robust de-anonymization of large sparse datasets. Em 2008 IEEE Symposium on Security and Privacy (sp 2008), p. 111–125.

Nguyen, P. Q. (2011). Breaking fully-homomorphic-encryption challenges. Em Lin, D., Tsudik, G. e Wang, X., editores, Cryptology and Network Security, p. 13–14, Berlin, Heidelberg. Springer Berlin Heidelberg.

Nguyen et al. (2019). D¨Iot: A federated self-learning anomaly detection system for iot. Em 2019 IEEE 39th International Conference on Distributed Computing Systems (ICDCS), p. 756–767.

Roth et al. (2020). Federated learning for breast density classification: A real-world implementation. Em Albarqouni, S., Bakas, S., Kamnitsas, K., Cardoso, M. J., Landman, B., Li, W., Milletari, F., Rieke, N., Roth, H., Xu, D. e Xu, Z., editores, Domain Adaptation and Representation Transfer, and Distributed and Collaborative Learning, p. 181–191, Cham. Springer International Publishing.

Shokri, R. e Shmatikov, V. (2015). Privacy-preserving deep learning. Em Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, CCS ’15, p. 1310–1321, New York, NY, USA. Association for Computing Machinery.

Simonyan, K. e Zisserman, A. (2015). Very deep convolutional networks for large-scale image recognition. Em Bengio, Y. e LeCun, Y., editores, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings.

Tran et al. (2019). Federated learning over wireless networks: Optimization model design and analysis. Em IEEE INFOCOM 2019 IEEE Conference on Computer Communications, p. 1387–1395.

Yang et al. (2020). Scheduling policies for federated learning in wireless networks. IEEE Transactions on Communications, 68(1):317–333.