O Que Não é Visto, Não é Lembrado: Aprendizado Federado Eficiente com Criptografia Homomórfica
Resumo
O aprendizado federado (FL) cross-silo permite que múltiplas instituições colaborem no treinamento de modelos globais sem compartilhar dados sensíveis diretamente. No entanto, mesmo sem o compartilhamento explícito de dados, há riscos significativos de segurança, como ataques de inversão de gradientes, que permitem a reconstrução de dados privados a partir de atualizações locais dos clientes Para mitigar esses riscos, técnicas de criptografia homomórfica (HE) têm sido amplamente estudada, ao permitir operações em dados cifrados sem necessidade de decifração. Contudo, o uso de HE é acompanhado por um elevado overhead computacional e de comunicação, dificultando sua aplicação prática. Neste contexto, este trabalho propõe o NVNL-FL, uma abordagem eficiente que combina métodos de empacotamento e esparsificação de pacotes utilizando um método de seleção baseada em janelas deslizantes, reduzindo substancialmente o overhead, garantindo privacidade e mantendo a acurácia do modelo, mesmo em cenários com dados heterogêneos (não-IID). Os resultados experimentais demonstram que o NVNL-FL supera as limitações de métodos existentes, equilibrando eficiência, segurança e desempenho. O código completo do NVNL-FL está disponível no GitHub.
Referências
Cheon, J. H., Kim, A., Kim, M., and Song, Y. (2017). Homomorphic encryption for arithmetic of approximate numbers. In T. Takagi & T. Peyrin (Eds.), Advances in Cryptology – ASIACRYPT 2017 (pp. 409–437). Cham: Springer International Publishing.
Choi, S., Patel, D., Zad Tootaghaj, D., Cao, L., Ahmed, F., and Sharma, P. (2024). Fednic: Enhancing privacy-preserving federated learning via homomorphic encryption offload on SmartNIC. Frontiers in Computer Science, 6.
de Souza, A. M., Maciel, F., da Costa, J. B., Bittencourt, L. F., Cerqueira, E., Loureiro, A. A., and Villas, L. A. (2024). Adaptive client selection with personalization for communication efficient federated learning. Ad Hoc Networks, 157, 103462.
Fan, J. and Vercauteren, F. (2012). Somewhat practical fully homomorphic encryption. Cryptology ePrint Archive, Paper 2012/144.
Geiping, J., Bauermeister, H., Dröge, H., and Moeller, M. (2020). Inverting gradients – how easy is it to break privacy in federated learning?
Hsu, T.-M. H., Qi, H., and Brown, M. (2019). Measuring the effects of non-identical data distribution for federated visual classification.
Jiang, Z., Wang, W., and Liu, Y. (2021). Flashe: Additively symmetric homomorphic encryption for cross-silo federated learning.
Li, A., Peng, H., Zhang, L., Huang, J., Guo, Q., Yu, H., and Liu, Y. (2023). Fedsdg-fs: Efficient and secure feature selection for vertical federated learning.
McMahan, H. B., Moore, E., Ramage, D., Hampson, S., and y Arcas, B. A. (2023). Communication-efficient learning of deep networks from decentralized data.
Paillier, P. (1999). Public-key cryptosystems based on composite degree residuosity classes. In J. Stern (Ed.), Advances in Cryptology — EUROCRYPT ’99 (pp. 223–238). Berlin, Heidelberg: Springer Berlin Heidelberg.
Phong, L. T., Aono, Y., Hayashi, T., Wang, L., and Moriai, S. (2018). Privacy-preserving deep learning via additively homomorphic encryption. IEEE Transactions on Information Forensics and Security, 13(5), 1333–1345.
Souza, A., Bittencourt, L., Cerqueira, E., Loureiro, A., and Villas, L. (2023). Dispositivos, eu escolho vocês: Seleção de clientes adaptativa para comunicação eficiente em aprendizado federado. In Anais do XLI Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (pp. 1–14). Porto Alegre, RS, Brasil: SBC.
Tenison, I., Sreeramadas, S. A., Mugunthan, V., Oyallon, E., Rish, I., and Belilovsky, E. (2023). Gradient masked averaging for federated learning.
Xiao, H., Rasul, K., and Vollgraf, R. (2017). Fashion-MNIST: A novel image dataset for benchmarking machine learning algorithms.
Xu, W., Fan, H., Li, K., and Yang, K. (2021). Efficient batch homomorphic encryption for vertically federated XGBoost.
Yan, N., Li, Y., Chen, J., Wang, X., Hong, J., He, K., and Wang, W. (2024). Efficient and straggler-resistant homomorphic encryption for heterogeneous federated learning. In IEEE INFOCOM 2024 - IEEE Conference on Computer Communications (pp. 791–800).
Yang, Q., Liu, Y., Chen, T., and Tong, Y. (2019). Federated machine learning: Concept and applications.
Zhang, C., Li, S., Xia, J., Wang, W., Yan, F., and Liu, Y. (2020). BatchCrypt: Efficient homomorphic encryption for cross-silo federated learning. In 2020 USENIX Annual Technical Conference (USENIX ATC 20) (pp. 493–506). USENIX Association.
Zhang, S., Li, Z., Chen, Q., Zheng, W., Leng, J., and Guo, M. (2021). Dubhe: Towards data unbiasedness with homomorphic encryption in federated learning client selection.