MCMPI: uma biblioteca com elasticidade para ambientes com múltiplos domínios e nuvem pública
Abstract
Este artigo apresenta uma nova biblioteca que utiliza e estende o padrão MPI, capaz de agregar servidores e clusters localizados em múltiplos domínios, como também recursos da nuvem. A plataforma de execução é criada e entregue à aplicação MPI de forma transparente sem que seja necessário recompilar o código. A solução também provê funções de provisionamento, adição e remoção de nós em tempo de execução trazendo elasticidade à aplicação. Através de benchmarks, comparou-se seu desempenho com a execução nativa da aplicação utilizando a Biblioteca MPI. Foi, também, desenvolvido um protótipo de aplicação elástica com resultados otimistas e dentro do esperado.References
A. Raveendran, T. Bicer, G. A. (2011). A framework for elastic execution of existing mpi programs. IEEE International Conference on Parallel and Distributed Processing Symposium, pp.940-047.
Choi, S., Park, S., Han, S., Park, S., Kwon, O., Kim, Y., and Park, H. (2004). An nat-based communication relay scheme for private-ip-enabled mpi over grid environments. Computational Science - ICCS 2004, Volume 3036 of the series Lecture Notes in Computer Science:pp. 499-502.
Dorier, M., Wang, Z., Ayachit, U., Snyder, S., Ross, R., and Parashar, M. (2022). Colza: Enabling elastic in situ visualization for high-performance computing simulations. In 2022 IEEE International Parallel and Distributed Processing Symposium (IPDPS), pages 538-548.
Kubernetes. https://kubernetes.io/. Acesso em 21/07/2022.
LLNL Matrix Multiply. Llnl matrix multiply. https://hpc-tutorials.llnl.gov/mpi/examples/mpi_mm.c. Acesso em 19/07/2022.
M. Caballer, M, A. Z. M. P. G. M. (2021). Deployment of elastic virtual hybrid clusters across cloud sites. Journal of Grid Computing, vol. 19, n. 4, pp. 1-16.
Massetto, F. I. (2007). Hybrid mpi - uma implementação mpi para ambientes distribuídos híbridos. Tese de doutorado. Escola Politécnica da USP.
P. Patchin, H. A. Lagar-Cavilla, E. d. L. M. B. (2009). Adding the easy button to the cloud with snowflock and mpi. Association for Computing Machinery.
Choi, S., Park, S., Han, S., Park, S., Kwon, O., Kim, Y., and Park, H. (2004). An nat-based communication relay scheme for private-ip-enabled mpi over grid environments. Computational Science - ICCS 2004, Volume 3036 of the series Lecture Notes in Computer Science:pp. 499-502.
Dorier, M., Wang, Z., Ayachit, U., Snyder, S., Ross, R., and Parashar, M. (2022). Colza: Enabling elastic in situ visualization for high-performance computing simulations. In 2022 IEEE International Parallel and Distributed Processing Symposium (IPDPS), pages 538-548.
Kubernetes. https://kubernetes.io/. Acesso em 21/07/2022.
LLNL Matrix Multiply. Llnl matrix multiply. https://hpc-tutorials.llnl.gov/mpi/examples/mpi_mm.c. Acesso em 19/07/2022.
M. Caballer, M, A. Z. M. P. G. M. (2021). Deployment of elastic virtual hybrid clusters across cloud sites. Journal of Grid Computing, vol. 19, n. 4, pp. 1-16.
Massetto, F. I. (2007). Hybrid mpi - uma implementação mpi para ambientes distribuídos híbridos. Tese de doutorado. Escola Politécnica da USP.
P. Patchin, H. A. Lagar-Cavilla, E. d. L. M. B. (2009). Adding the easy button to the cloud with snowflock and mpi. Association for Computing Machinery.
Published
2022-10-19
How to Cite
AGUNI, Carlos A. T.; SATO, Liria M.; MIDORIKAWA, Edson T..
MCMPI: uma biblioteca com elasticidade para ambientes com múltiplos domínios e nuvem pública. In: BRAZILIAN SYMPOSIUM ON HIGH PERFORMANCE COMPUTING SYSTEMS (SSCAD), 23. , 2022, Florianópolis/SC.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2022
.
p. 13-24.
DOI: https://doi.org/10.5753/wscad.2022.226396.
