ATHENA-FL: Evitando a Heterogeneidade Estatística através do Um-contra-Todos no Aprendizado Federado
Resumo
O aprendizado federado é um novo paradigma que permite o treinamento de modelos de aprendizado de máquina através da colaboração entre clientes e um servidor de agregação. O treinamento dispensa o compartilhamento de dados privados, garantindo aos clientes privacidade de suas amostras. Entretanto, quando os clientes possuem distribuições de dados distintas, o treinamento apresenta dificuldades de convergência, resultando em erros preditivos no modelo final. Este artigo propõe um sistema de aprendizado federado que considera clientes com distribuições de dados heterogêneas e, mesmo assim, produz modelos acurados em menos épocas de treinamento do que o estado da arte. Os efeitos da heterogeneidade dos dados são mitigados através do agrupamento dos clientes baseado em uma estimativa da distribuição de dados através dos pesos da rede neural treinada localmente. Além disso, o sistema utiliza a técnica um-contra-todos, treina um detector para cada classe no sistema. Assim, grupos diferentes podem combinar os detectores a fim de formar um modelo capaz de detectar classes provenientes de outros grupos. Os resultados mostram que o modelo um-contra-todos possui alta capacidade de identificar corretamente as amostras e com acurácia até 18% maior do que o treinamento tradicional, com um baixo custo de comunicação durante o treinamento, reduzindo a quantidade de bytes transmitidos entre 59,6% até 94% em comparação à arquitetura MobileNet.
Referências
Chu, D., Jaafar, W. e Yanikomeroglu, H. (2022). On the Design of Communication-Efficient Federated Learning for Health Monitoring. IEEE GLOBECOM, páginas 1-6.
de Souza, L. A. C. et al. (2022). Aprendizado Federado com Agrupamento Hierárquico de Clientes para Aumento da Acurácia. Em SBRC, páginas 545-558.
Ester, M., Kriegel, H.-P., Sander, J., Xu, X. et al. (1996). A Density-based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. Em KDD, páginas 226-231.
Fu, L. et al. (2022). Client Selection in Federated Learning: Principles, Challenges, and Opportunities. arXiv preprint arXiv:2211.01549, páginas 1-8.
Krizhevsky, A. et al. (2009). Learning Multiple Layers of Features from Tiny Images.
Lai, F., Zhu, X., Madhyastha, H. V. e Chowdhury, M. (2021). Oort: Efficient Federated Learning via Guided Participant Selection. Em USENIX OSDI, páginas 19-35.
LeCun, Y., Cortes, C. e Burges, C. J. (2010). MNIST Handwritten Digit Database. http://yann.lecun.com/exdb/mnist/.
Li, H., Cai, Z., Wang, J., Tang, J., Ding, W., Lin, C.-T. e Shi, Y. (2022). FedTP: Federated Learning by Transformer Personalization. arXiv preprint arXiv:2211.01572, páginas 1-14.
Luo, B. et al. (2022). Tackling System and Statistical Heterogeneity for Federated Learning with Adaptive Client Sampling. Em IEEE INFOCOM, páginas 1739-1748.
McMahan, B. et al. (2017). Communication-efficient Learning of Deep Networks from Decentralized Data. Artificial Intelligence and Statistics, páginas 1273-1282.
Neto, H. N. et al. (2021). FedSA: Arrefecimento Simulado Federado para a Aceleração da Detecção de Intrusão em Ambientes Colaborativos. Em SBRC, páginas 280-293.
Ouyang, X. et al. (2021). ClusterFL: a Similarity-Aware Federated Learning System for Human Activity Recognition. Em Proceedings of the International Conference on Mobile Systems, Applications, and Services, páginas 54-66.
Tan, A. Z., Yu, H., Cui, L. e Yang, Q. (2022). Towards Personalized Federated Learning. IEEE Transactions on Neural Networks and Learning Systems, páginas 1-17.
Wang, H. et al. (2020a). Optimizing Federated Learning on Non-IID Data with Reinforcement Learning. Em IEEE INFOCOM, páginas 1698-1707.
Wang, J. et al. (2020b). Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization. NeurIPS, 33:7611-7623.
Zhong, Z. et al. (2022). FLEE: A Hierarchical Federated Learning Framework for Distributed Deep Neural Network over Cloud, Edge and End Device. ACM TIST, páginas 1-24.
Zhu, Y., Markos, C., Zhao, R., Zheng, Y. e James, J. (2021). FedOVA: One-vs-All Training Method for Federated Learning with Non-IID Data. Em IEEE IJCNN, páginas 1-7.
