Federated Learning with AutoKeras and Knowledge Distillation

• Bruno H. Meyer UFPR
• Aurora Pozo UFPR
• Michele Nogueira UFMG
• Wagner M. Nunan Zola UFPR

DOI: https://doi.org/10.5753/eradrs.2024.238583

Abstract

Este artigo apresenta a técnica AFP-KD-AutoML com objetivo de reduzir o tempo de treinamento e execução de modelos para Aprendizado Federado. A técnica usa o conceito Knowledge Distillation para transferir informações entre clientes e servidor e a ferramenta AutoKeras para encontrar arquiteturas de redes neurais artificiais.

References

Garg, A., Saha, A. K., and Dutta, D. (2020). Direct federated neural architecture search. arXiv preprint arXiv:2010.06223.

Zhang, J., Guo, S., Ma, X., Wang, H., Xu, W., and Wu, F. (2021). Parameterized knowledge transfer for personalized federated learning. Advances in Neural Information Processing Systems, 34:10092–10104.