Apoio à Utilização de Análise de Dados em Aplicações CSE por meio de Contêineres
Resumo
Aplicações científicas em larga escala se caracterizam por invocar diversas bibliotecas de software e produzir grandes quantidades de dados por meio de scripts. A virtualização baseada em contêineres é uma maneira ainda pouco utilizada pela comunidade de HPC para auxiliar a portabilidade dessas aplicações, em especial aquelas que possuem abordagens para análise de dados acopladas. Para auxiliar a adoção de tecnologia de contêineres esse artigo apresenta a ProvDeploy com um modelo voltado a incorporar serviços a aplicações desenvolvidas para ambientes PAD.
Palavras-chave:
Aplicações em Agricultura, Biologia, Engenharia, Física, Matemática, Medicina, Mercado Financeiro, Nanociências, Óleo e Gás, Química e outras áreas.
Referências
Davidson, S. B. and Freire, J. (2008). Provenance and scientific workflows: challenges and opportunities. In Proceedings of the 2008 ACM SIGMOD international conference on Management of data, pages 1345–1350.
Gerhardt, L., Bhimji, W., Fasel, M., Porter, J., Mustafa, M., Jacobsen, D., Tsulaia, V., and Canon, S. (2017). Shifter: Containers for hpc. In J. Phys. Conf. Ser., volume 898, page 082021.
Kurtzer, G. M., Sochat, V., and Bauer, M. W. (2017). Singularity: Scientific containers for mobility of compute. PloS one, 12(5).
McMillan, S. (2018). Making containers easier with hpc container maker. In In HPCSYSPROS18: HPC System Professionals Workshop, Dallas, TX.
Neves, L. (2020). Provdeploy: Apoio a coleta de dados de proveniência em scripts de execução de codigos científicos
Preeth, E., Mulerickal, F. J. P., Paul, B., and Sastri, Y. (2015). Evaluation of docker containers based on hardware utilization. In 2015 International Conference on Control Communication & Computing India (ICCC), pages 697–700. IEEE.
Priedhorsky, R. and Randles, T. (2017). Charliecloud: Unprivileged containers for userdefined software stacks in hpc. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, pages 1–10.
Vahi, K., Rynge, M., Papadimitriou, G., Brown, D. A., Mayani, R., da Silva, R. F., Deelman, E., Mandal, A., Lyons, E., and Zink, M. (2019). Custom execution environments with containers in pegasus-enabled scientific workflows. arXiv preprint arXiv:1905.08204.
Wu, K., Ahern, S., Bethel, E. W., Chen, J., Childs, H., Cormier-Michel, E., Geddes, C., Gu, J., Hagen, H., Hamann, B., et al. (2009). Fastbit: interactively searching massive data. In Journal of Physics: Conference Series, volume 180, page 012053. IOP Publishing.
Gerhardt, L., Bhimji, W., Fasel, M., Porter, J., Mustafa, M., Jacobsen, D., Tsulaia, V., and Canon, S. (2017). Shifter: Containers for hpc. In J. Phys. Conf. Ser., volume 898, page 082021.
Kurtzer, G. M., Sochat, V., and Bauer, M. W. (2017). Singularity: Scientific containers for mobility of compute. PloS one, 12(5).
McMillan, S. (2018). Making containers easier with hpc container maker. In In HPCSYSPROS18: HPC System Professionals Workshop, Dallas, TX.
Neves, L. (2020). Provdeploy: Apoio a coleta de dados de proveniência em scripts de execução de codigos científicos
Preeth, E., Mulerickal, F. J. P., Paul, B., and Sastri, Y. (2015). Evaluation of docker containers based on hardware utilization. In 2015 International Conference on Control Communication & Computing India (ICCC), pages 697–700. IEEE.
Priedhorsky, R. and Randles, T. (2017). Charliecloud: Unprivileged containers for userdefined software stacks in hpc. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, pages 1–10.
Vahi, K., Rynge, M., Papadimitriou, G., Brown, D. A., Mayani, R., da Silva, R. F., Deelman, E., Mandal, A., Lyons, E., and Zink, M. (2019). Custom execution environments with containers in pegasus-enabled scientific workflows. arXiv preprint arXiv:1905.08204.
Wu, K., Ahern, S., Bethel, E. W., Chen, J., Childs, H., Cormier-Michel, E., Geddes, C., Gu, J., Hagen, H., Hamann, B., et al. (2009). Fastbit: interactively searching massive data. In Journal of Physics: Conference Series, volume 180, page 012053. IOP Publishing.
Publicado
30/11/2020
Como Citar
NEVES, Liliane; PINA, Débora ; DE OLIVEIRA, Daniel ; MATTOSO, Marta .
Apoio à Utilização de Análise de Dados em Aplicações CSE por meio de Contêineres. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DO RIO DE JANEIRO (ERAD-RJ), 6. , 2020, Evento Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2020
.
p. 26-30.
DOI: https://doi.org/10.5753/eradrj.2020.14512.
