MCMPI: uma biblioteca com elasticidade para ambientes com múltiplos domínios e nuvem pública
Resumo
Este artigo apresenta uma nova biblioteca que utiliza e estende o padrão MPI, capaz de agregar servidores e clusters localizados em múltiplos domínios, como também recursos da nuvem. A plataforma de execução é criada e entregue à aplicação MPI de forma transparente sem que seja necessário recompilar o código. A solução também provê funções de provisionamento, adição e remoção de nós em tempo de execução trazendo elasticidade à aplicação. Através de benchmarks, comparou-se seu desempenho com a execução nativa da aplicação utilizando a Biblioteca MPI. Foi, também, desenvolvido um protótipo de aplicação elástica com resultados otimistas e dentro do esperado.Referências
A. Raveendran, T. Bicer, G. A. (2011). A framework for elastic execution of existing mpi programs. IEEE International Conference on Parallel and Distributed Processing Symposium, pp.940-047.
Choi, S., Park, S., Han, S., Park, S., Kwon, O., Kim, Y., and Park, H. (2004). An nat-based communication relay scheme for private-ip-enabled mpi over grid environments. Computational Science - ICCS 2004, Volume 3036 of the series Lecture Notes in Computer Science:pp. 499-502.
Dorier, M., Wang, Z., Ayachit, U., Snyder, S., Ross, R., and Parashar, M. (2022). Colza: Enabling elastic in situ visualization for high-performance computing simulations. In 2022 IEEE International Parallel and Distributed Processing Symposium (IPDPS), pages 538-548.
Kubernetes. https://kubernetes.io/. Acesso em 21/07/2022.
LLNL Matrix Multiply. Llnl matrix multiply. https://hpc-tutorials.llnl.gov/mpi/examples/mpi_mm.c. Acesso em 19/07/2022.
M. Caballer, M, A. Z. M. P. G. M. (2021). Deployment of elastic virtual hybrid clusters across cloud sites. Journal of Grid Computing, vol. 19, n. 4, pp. 1-16.
Massetto, F. I. (2007). Hybrid mpi - uma implementação mpi para ambientes distribuídos híbridos. Tese de doutorado. Escola Politécnica da USP.
P. Patchin, H. A. Lagar-Cavilla, E. d. L. M. B. (2009). Adding the easy button to the cloud with snowflock and mpi. Association for Computing Machinery.
Choi, S., Park, S., Han, S., Park, S., Kwon, O., Kim, Y., and Park, H. (2004). An nat-based communication relay scheme for private-ip-enabled mpi over grid environments. Computational Science - ICCS 2004, Volume 3036 of the series Lecture Notes in Computer Science:pp. 499-502.
Dorier, M., Wang, Z., Ayachit, U., Snyder, S., Ross, R., and Parashar, M. (2022). Colza: Enabling elastic in situ visualization for high-performance computing simulations. In 2022 IEEE International Parallel and Distributed Processing Symposium (IPDPS), pages 538-548.
Kubernetes. https://kubernetes.io/. Acesso em 21/07/2022.
LLNL Matrix Multiply. Llnl matrix multiply. https://hpc-tutorials.llnl.gov/mpi/examples/mpi_mm.c. Acesso em 19/07/2022.
M. Caballer, M, A. Z. M. P. G. M. (2021). Deployment of elastic virtual hybrid clusters across cloud sites. Journal of Grid Computing, vol. 19, n. 4, pp. 1-16.
Massetto, F. I. (2007). Hybrid mpi - uma implementação mpi para ambientes distribuídos híbridos. Tese de doutorado. Escola Politécnica da USP.
P. Patchin, H. A. Lagar-Cavilla, E. d. L. M. B. (2009). Adding the easy button to the cloud with snowflock and mpi. Association for Computing Machinery.
Publicado
19/10/2022
Como Citar
AGUNI, Carlos A. T.; SATO, Liria M.; MIDORIKAWA, Edson T..
MCMPI: uma biblioteca com elasticidade para ambientes com múltiplos domínios e nuvem pública. In: SIMPÓSIO EM SISTEMAS COMPUTACIONAIS DE ALTO DESEMPENHO (SSCAD), 23. , 2022, Florianópolis/SC.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2022
.
p. 13-24.
DOI: https://doi.org/10.5753/wscad.2022.226396.
