Proposta de Avaliação Prática de Frameworks para a Distribuição de Redes de Aprendizado Profundo
Resumo
Frameworks para distribuir o treinamento de aprendizado profundo usam estruturas aplicáveis a sistemas de computação de alto desempenho, e propõe fácil utilização pelo usuário. Um dos principais desafios dos frameworks é escalar o treinamento para múltiplos processadores, como CPUs e GPUs, sem perder desempenho e precisão com a sobrecarga de comunicações. Este trabalho propõe uma avaliação prática de frameworks recentes tais como Horovod, LBANN e Tarantella para distribuição de Redes de Aprendizado Profundo.Referências
Ben-Nun, T. and Hoeer, T. (2019). Demystifying parallel and distributed deep learning: An in-depth concurrency analysis. ACM Comput. Surv., 52(4).
Cappello, F. et al. (2005). Grid’5000: a large scale and highly recongurable grid experimental testbed. In The 6th IEEE/ACM International Workshop on Grid Computing, 2005., page 8, Washington, US. IEEE.
CC-HPC, C. (2020). Tarantella: Distributed deep learning framework. http://www.tarantella.org. Accessed: 2020-11-14.
Jain, R. (1991). The art of computer systems performance analysis: techniques for experimental design, measurement, simulation, and modeling. Wiley New York.
Knüpfer, A. et al. (2012). Score-P: A Joint Performance Measurement Run-Time Infrastructure for Periscope,Scalasca, TAU, and Vampir. In Brunst, H., Müller, M. S., Nagel, W. E., and Resch, M. M., editors, Tools for High Performance Computing 2011, pages 79–91, Berlin, Heidelberg. Springer Berlin Heidelberg.
Laine, A. (2003). Neural Networks, page 1233–1239. John Wiley and Sons Ltd., GBR.
Sergeev, A. and Balso, M. D. (2018). Horovod: fast and easy distributed deep learning in TensorFlow. arXiv preprint arXiv:1802.05799.
Van Essen, B., Kim, H., Pearce, R., Boakye, K., and Chen, B. (2015). LBANN: Livermore big articial neural network hpc toolkit. In Proceedings of the Workshop on Machine Learning in HPC Environments, MLHPC ’15, New York, NY, USA. ACM. http://gppd-hpc.inf.ufrgs.br/ 2https://www.tidyverse.org/
Cappello, F. et al. (2005). Grid’5000: a large scale and highly recongurable grid experimental testbed. In The 6th IEEE/ACM International Workshop on Grid Computing, 2005., page 8, Washington, US. IEEE.
CC-HPC, C. (2020). Tarantella: Distributed deep learning framework. http://www.tarantella.org. Accessed: 2020-11-14.
Jain, R. (1991). The art of computer systems performance analysis: techniques for experimental design, measurement, simulation, and modeling. Wiley New York.
Knüpfer, A. et al. (2012). Score-P: A Joint Performance Measurement Run-Time Infrastructure for Periscope,Scalasca, TAU, and Vampir. In Brunst, H., Müller, M. S., Nagel, W. E., and Resch, M. M., editors, Tools for High Performance Computing 2011, pages 79–91, Berlin, Heidelberg. Springer Berlin Heidelberg.
Laine, A. (2003). Neural Networks, page 1233–1239. John Wiley and Sons Ltd., GBR.
Sergeev, A. and Balso, M. D. (2018). Horovod: fast and easy distributed deep learning in TensorFlow. arXiv preprint arXiv:1802.05799.
Van Essen, B., Kim, H., Pearce, R., Boakye, K., and Chen, B. (2015). LBANN: Livermore big articial neural network hpc toolkit. In Proceedings of the Workshop on Machine Learning in HPC Environments, MLHPC ’15, New York, NY, USA. ACM. http://gppd-hpc.inf.ufrgs.br/ 2https://www.tidyverse.org/
Publicado
14/04/2021
Como Citar
SOLÓRZANO, Ana Luisa; SCHNORR, Lucas.
Proposta de Avaliação Prática de Frameworks para a Distribuição de Redes de Aprendizado Profundo. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DA REGIÃO SUL (ERAD-RS), 21. , 2021, Evento Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2021
.
p. 129-130.
ISSN 2595-4164.
DOI: https://doi.org/10.5753/eradrs.2021.14803.
