Seleção de Clientes Federados usando Aprendizado por Reforço Multiagente
Resumo
No aprendizado federado, o servidor central decide quais clientes devem participar de cada rodada de treinamento. Entretanto, estratégias tradicionais que não estimam a contribuição de cada cliente podem ser vulneráveis a dados de baixa qualidade e a clientes maliciosos. Este trabalho investiga uma abordagem de seleção de clientes baseada no aprendizado por reforço multi-agente (MARL). A arquitetura proposta modela cada cliente como um agente, no qual as decisões são tomadas de forma descentralizada e cooperativa. Cada agente avalia características como diversidade de dados, capacidade de processamento e histórico de participação, aprendendo a contribuir para uma seleção mais estratégica dos participantes do treinamento em cenários dinâmicos e não-IID. Os experimentos simulam diferentes graus de heterogeneidade entre os clientes, refletindo distribuições não-IID, além de considerar cenários com inversão de rótulos como estratégia de ataque ao aprendizado. O desempenho, em comparação ao FedAvg e ao single-agent RL (SARL), demonstra melhoria na acurácia final do modelo e no equilíbrio na participação dos clientes.
Referências
de Souza, L. A. C., Camilo, G. F., Rebello, G. A. F., Sammarco, M., Campista, M. E. M., and Costa, L. H. M. K. (2024). ATHENA-FL: Avoiding Statistical Heterogeneity with One-versus-All in Federated Learning. Journal of Internet Services and Applications, 15(1):273–288.
Jebreel, N. M., Domingo-Ferrer, J., Sánchez, D., and Blanco-Justicia, A. (2022). Defending against the Label-flipping Attack in Federated Learning. CoRR, abs/2207.01982.
Jee Cho, Y., Wang, J., and Joshi, G. (2022). Towards Understanding Biased Client Selection in Federated Learning. In 25th International Conference on Artificial Intelligence and Statistics, pages 10351–10375.
Jiang, X., Li, J., Wu, N., Wu, Z., Li, X., Sun, S., Xu, G., Wang, Y., Li, Q., and Liu, M. (2025). FNBench: Benchmarking Robust Federated Learning against Noisy Labels. CoRR, abs/2505.06684.
Lai, F., Zhu, X., Madhyastha, H. V., and Chowdhury, M. (2021). Oort: Efficient Federated Learning via Guided Participant Selection. In 15th USENIX Symposium on Operating Systems Design and Implementation (OSDI 21), pages 19–35.
McMahan, B., Moore, E., Ramage, D., Hampson, S., and Aguera y Arcas, B. (2017). Communication-Efficient Learning of Deep Networks from Decentralized Data. In 20th International Conference on Artificial Intelligence and Statistics (AISTATS), pages 1273–1282.
Sagar, S., Li, C.-S., Loke, S. W., and Choi, J. (2023). Poisoning Attacks and Defenses in Federated Learning: A Survey. CoRR, abs/10.48550.
Sunehag, P., Lever, G., Gruslys, A., Czarnecki, W. M., Zambaldi, V., Jaderberg, M., Lanctot, M., Sonnerat, N., Leibo, J. Z., Tuyls, K., and Graepel, T. (2017). Value-Decomposition Networks For Cooperative Multi-Agent Learning. CoRR, abs/1706.05296.
Tian, C., Shi, Z., Qin, X., Li, L., and Xu, C.-Z. (2024). Ranking-based Client Imitation Selection for Efficient Federated Learning. In Proceedings of the 41st International Conference on Machine Learning, pages 48211–48225.
Wang, H., Kaplan, Z., Niu, D., and Li, B. (2020). Optimizing Federated Learning on Non-IID Data with Reinforcement Learning. In IEEE Conference on Computer Communications (INFOCOM), pages 1698–1707.
Yin, D., Chen, Y., Ramchandran, K., and Bartlett, P. (2018). Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates. In 35th International Conference on Machine Learning, pages 5650–5659.
Zhang, S. Q., Lin, J., and Zhang, Q. (2022). A Multi-Agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 9091–9099.
Zhao, Y., Li, M., Lai, L., Suda, N., Civin, D., and Chandra, V. (2018). Federated Learning with Non-IID Data. CoRR, abs/1806.00582.
