Clusterização por Similaridade de Pesos como Estratégia para Mitigar o Client Drift no Aprendizado Federado

• Enzo Rodrigues Novais Dias UFG
• Renan R. de Oliveira UFG / IFG
• Antonio C. Oliveira-Jr UFG / Fraunhofer Portugal AICOS

DOI: https://doi.org/10.5753/erigo.2025.17000

Resumo

Este trabalho aborda o desafio do client drift no Aprendizado Federado (Federated Learning – FL) causado por dados Non-IID. Propomos um algoritmo em duas fases, com clusterização dos dispositivos por similaridade dos pesos de modelos locais e treinamento federado independente por cluster. A metodologia foi validada no dataset MNIST em dois cenários de heterogeneidade. O primeiro corresponde ao caso extremo, onde cada dispositivo possui dados restritos a uma única classe. O segundo é baseado na distribuição Dirichlet (α = 0.1), gerando dados desbalanceadas e com predominância de poucas classes por dispositivo. O algoritmo proposto elevou a acurácia do modelo global de 26.32% para 100% no primeiro caso e superou a baseline de 86.67% no segundo caso, atingindo até 92.09%. Os resultados mostram que a clusterização é uma estratégia eficaz para mitigar a heterogeneidade e melhorar a estabilidade do treinamento federado.

Palavras-chave: Clusterização, Aprendizado Federado, Client Drift, Dados Non-IID, Similaridade de Pesos

Referências

Brecko, A., Kajati, E., Koziorek, J., and Zolotova, I. (2022). Federated Learning for Edge Computing: A Survey. Applied Sciences, 12(18).

Chen, H., Huang, S., Zhang, D., Xiao, M., Skoglund, M., and Poor, H. V. (2022). Federated Learning Over Wireless IoT Networks With Optimized Communication and Resources. IEEE Internet of Things Journal, 9(17):16592–16605.

Chen, M., Yang, Z., Saad, W., Yin, C., Poor, H. V., and Cui, S. (2021). A Joint Learning and Communications Framework for Federated Learning Over Wireless Networks. IEEE Transactions on Wireless Communications, 20(1):269–283.

Hellström, H., da Silva Jr, J. M. B., Amiri, M. M., Chen, M., Fodor, V., Poor, H. V., and Fischione, C. (2022). Wireless for Machine Learning: A survey. Foundations and Trends in Signal Processing, 15(4):290–399.

Karimireddy, S. P., Kale, S., Mohri, M., Reddi, S. J., Stich, S. U., and Suresh, A. T. (2020). SCAFFOLD: Stochastic Controlled Averaging for On-Device Federated Learning. In International Conference on Machine Learning (ICML).

Li, Q., Wen, Z., Wu, Z., Hu, S., Wang, N., Li, Y., Liu, X., and He, B. (2021). A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection. IEEE Transactions on Knowledge and Data Engineering, PP:1–1.

Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar, A., and Smith, V. (2020). Federated Optimization in Heterogeneous Networks. In Conference on Machine Learning and Systems (MLSys).

Ma, X., Zhu, J., Lin, Z., Chen, S., and Qin, Y. (2022). A state-of-the-art Survey on Solving non-IID Data in Federated Learning. Future Generation Computer Systems, 135:244–258.

McMahan, H. B., Moore, E., Ramage, D., Hampson, S., and y Arcas, B. A. (2016). Communication-Efficient Learning of Deep Networks from Decentralized Data. arXiv.

Wahab, O. A., Mourad, A., Otrok, H., and Taleb, T. (2021). Federated Machine Learning: Survey, Multi-Level Classification, Desirable Criteria and Future Directions in Communication and Networking Systems. IEEE Communications Surveys & Tutorials, 23(2):1342–1397.

Yang, Z., Chen, M., Wong, K.-K., Poor, H. V., and Cui, S. (2022). Federated Learning for 6G: Applications, Challenges, and Opportunities. Engineering, 8:33–41.

Zhao, Y., Li, M., Lai, L., Suda, N., Civin, D., and Chandra, V. (2022). Federated Learning with Non-IID Data. arXiv.

Zhao, Z., Wang, J., Hong, W., Quek, T. Q. S., Ding, Z., and Peng, M. (2024). Ensemble Federated Learning With Non-IID Data in Wireless Networks. IEEE Transactions on Wireless Communications, 23(4):3557–3571.

Zhu, G., Wang, Y., and Huang, K. (2020). Broadband Analog Aggregation for Low-Latency Federated Edge Learning. IEEE Transactions on Wireless Communications, 19(1):491–506.