MCMPI: uma biblioteca com elasticidade para ambientes com múltiplos domínios e nuvem pública

  • Carlos A. T. Aguni USP
  • Liria M. Sato USP
  • Edson T. Midorikawa USP

Resumo


Este artigo apresenta uma nova biblioteca que utiliza e estende o padrão MPI, capaz de agregar servidores e clusters localizados em múltiplos domínios, como também recursos da nuvem. A plataforma de execução é criada e entregue à aplicação MPI de forma transparente sem que seja necessário recompilar o código. A solução também provê funções de provisionamento, adição e remoção de nós em tempo de execução trazendo elasticidade à aplicação. Através de benchmarks, comparou-se seu desempenho com a execução nativa da aplicação utilizando a Biblioteca MPI. Foi, também, desenvolvido um protótipo de aplicação elástica com resultados otimistas e dentro do esperado.

Referências

A. Raveendran, T. Bicer, G. A. (2011). A framework for elastic execution of existing mpi programs. IEEE International Conference on Parallel and Distributed Processing Symposium, pp.940-047.

Choi, S., Park, S., Han, S., Park, S., Kwon, O., Kim, Y., and Park, H. (2004). An nat-based communication relay scheme for private-ip-enabled mpi over grid environments. Computational Science - ICCS 2004, Volume 3036 of the series Lecture Notes in Computer Science:pp. 499-502.

Dorier, M., Wang, Z., Ayachit, U., Snyder, S., Ross, R., and Parashar, M. (2022). Colza: Enabling elastic in situ visualization for high-performance computing simulations. In 2022 IEEE International Parallel and Distributed Processing Symposium (IPDPS), pages 538-548.

Kubernetes. https://kubernetes.io/. Acesso em 21/07/2022.

LLNL Matrix Multiply. Llnl matrix multiply. https://hpc-tutorials.llnl.gov/mpi/examples/mpi_mm.c. Acesso em 19/07/2022.

M. Caballer, M, A. Z. M. P. G. M. (2021). Deployment of elastic virtual hybrid clusters across cloud sites. Journal of Grid Computing, vol. 19, n. 4, pp. 1-16.

Massetto, F. I. (2007). Hybrid mpi - uma implementação mpi para ambientes distribuídos híbridos. Tese de doutorado. Escola Politécnica da USP.

P. Patchin, H. A. Lagar-Cavilla, E. d. L. M. B. (2009). Adding the easy button to the cloud with snowflock and mpi. Association for Computing Machinery.
Publicado
19/10/2022
AGUNI, Carlos A. T.; SATO, Liria M.; MIDORIKAWA, Edson T.. MCMPI: uma biblioteca com elasticidade para ambientes com múltiplos domínios e nuvem pública. In: SIMPÓSIO EM SISTEMAS COMPUTACIONAIS DE ALTO DESEMPENHO (SSCAD), 23. , 2022, Florianópolis/SC. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2022 . p. 13-24. DOI: https://doi.org/10.5753/wscad.2022.226396.