Proposta de um Cluster para Aplicações de HPC com o uso de Docker e Infiniband
Resumo
O custos elevados para a aquisição e manutenção de infraestrutura para HPC tem sido alvo de preocupação por parte dos pesquisadores, de forma a buscarem alternativas como a de clusters compartilhados entre grupos de pesquisa, utilização de virtualização e o uso de contêineres. Desta forma, diante da criação de novos desafios enfrentados pelas equipes, este trabalho apresenta uma proposta de um cluster HPC com o uso de contêineres Docker.
Referências
Buyya, R., Cortes, T., and Jin, H. (2002). An Introduction to the InfiniBand Architecture, pages 616-632.
Docker. Swarm mode overview. https://docs.docker.com/engine/swarm/. Acessado: 16-03-2023.
Docker. What docker? https://www.docker.com/what-docker/. Acessado: 16-03-2023.
Ermakov, A. and Vasyukov, A. (2017). Testing docker performance for HPC applications. CoRR, abs/1704.05592.
Galaxy. Projeto. https://usegalaxy.org. Acessado: 16-03-2023.
HPC@UFSC. Dashboard de filas. [link]. Acessado: 16-03-2023.
Metabase. Projeto. https://www.metabase.com/. Acessado: 16-03-2023.
Portainer. Container management. https://portainer.io. Acessado: 16-03-2023.
SeTIC, D. Imagem slurm. https://codigos.ufsc.br/setic-hpc/slurm. Acessado: 16-03-2023.
SeTIC, D. Slurm workflow. https://codigos.ufsc.br/setic-hpc/workflow. Acessado: 16-03-2023.
Yoo, A. B., Jette, M. A., and Grondona, M. (2003). Slurm: Simple linux utility for resource management. In Feitelson, D., Rudolph, L., and Schwiegelshohn, U., editors, Job Scheduling Strategies for Parallel Processing, pages 44-60, Berlin, Heidelberg. Springer Berlin Heidelberg.
Yu, H. and Huang, W. (2015). Building a virtual HPC cluster with auto scaling by the docker. CoRR, abs/1509.08231.
Zhou, N., Georgiou, Y., Pospieszny, M., Zhong, L., Zhou, H., Niethammer, C., Pejak, B., Marko, O., and Hoppe, D. (2021). Container orchestration on hpc systems through kubernetes. Journal of Cloud Computing, 10(1):16.
Docker. Swarm mode overview. https://docs.docker.com/engine/swarm/. Acessado: 16-03-2023.
Docker. What docker? https://www.docker.com/what-docker/. Acessado: 16-03-2023.
Ermakov, A. and Vasyukov, A. (2017). Testing docker performance for HPC applications. CoRR, abs/1704.05592.
Galaxy. Projeto. https://usegalaxy.org. Acessado: 16-03-2023.
HPC@UFSC. Dashboard de filas. [link]. Acessado: 16-03-2023.
Metabase. Projeto. https://www.metabase.com/. Acessado: 16-03-2023.
Portainer. Container management. https://portainer.io. Acessado: 16-03-2023.
SeTIC, D. Imagem slurm. https://codigos.ufsc.br/setic-hpc/slurm. Acessado: 16-03-2023.
SeTIC, D. Slurm workflow. https://codigos.ufsc.br/setic-hpc/workflow. Acessado: 16-03-2023.
Yoo, A. B., Jette, M. A., and Grondona, M. (2003). Slurm: Simple linux utility for resource management. In Feitelson, D., Rudolph, L., and Schwiegelshohn, U., editors, Job Scheduling Strategies for Parallel Processing, pages 44-60, Berlin, Heidelberg. Springer Berlin Heidelberg.
Yu, H. and Huang, W. (2015). Building a virtual HPC cluster with auto scaling by the docker. CoRR, abs/1509.08231.
Zhou, N., Georgiou, Y., Pospieszny, M., Zhong, L., Zhou, H., Niethammer, C., Pejak, B., Marko, O., and Hoppe, D. (2021). Container orchestration on hpc systems through kubernetes. Journal of Cloud Computing, 10(1):16.
Publicado
10/05/2023
Como Citar
SILVA, Weslley da C.; GERONIMO, Guilherme A.; MENDIZABAL, Odorico M..
Proposta de um Cluster para Aplicações de HPC com o uso de Docker e Infiniband. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DA REGIÃO SUL (ERAD-RS), 23. , 2023, Porto Alegre/RS.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2023
.
p. 41-44.
ISSN 2595-4164.
DOI: https://doi.org/10.5753/eradrs.2023.229985.
