Plug and Flow: Execução de Workflows Científicos em Contêineres com o Middleware AkôFlow

• Wesley Ferreira Universidade Federal Fluminense
• Liliane Kunstmann Universidade Federal do Rio de Janeiro
• Raphael Garcia Universidade Federal Fluminense
• Marcos Bedo Universidade Federal Fluminense
• Aline Paes Universidade Federal Fluminense
• Daniel de Oliveira Universidade Federal Fluminense

DOI: https://doi.org/10.5753/sbbd_estendido.2025.247648

Resumo

Neste artigo, demonstramos o AkôFlow, um middleware projetado para a execução paralela de workflows em ambientes conteinerizados. Construído sobre a plataforma Kubernetes, o AkôFlow permite o escalonamento automático das atividades dos workflows em múltiplos contêineres de acordo com as dependências de dados existentes. Cada atividade pode ser executada em uma imagem Docker distinta, e o middleware realiza a captura nativa de dados de proveniência. Neste artigo de demonstração, executamos o workflow do domínio da astronomia Montage via AkôFlow, avaliando diferentes configurações de alocação de recursos.

Palavras-chave: Contêiner, Workflows

Referências

Babuji, Y. N. et al. (2019). Parsl: Pervasive parallel programming in python. In Weissman, J. B., Butt, A. R., and Smirni, E., editors, HPDC’19, pages 25–36. ACM.

Belhajjame, K., B’Far, R., Cheney, J., Coppens, S., Cresswell, S., Gil, Y., Groth, P., Klyne, G., Lebo, T., McCusker, J., Miles, S., Myers, J., Sahoo, S., Tilmes, C., Moreau, L., and Missier, P. (2013). Prov-dm: The prov data model. W3C Recommendation / Technical Report REC-prov-dm-20130430, World Wide Web Consortium. Editors: Luc Moreau and Paolo Missier.

de Oliveira, D., Ocaña, K. A. C. S., Baião, F. A., and Mattoso, M. (2012). A provenance-based adaptive scheduling heuristic for parallel scientific workflows in clouds. J. Grid Comput., 10(3):521–552.

de Oliveira, D., Ogasawara, E. S., Baião, F. A., and Mattoso, M. (2010). Scicumulus: A lightweight cloud middleware to explore many task computing paradigm in scientific workflows. In CLOUD’10, pages 378–385.

de Oliveira, D. C. M., Liu, J., and Pacitti, E. (2019). Data-Intensive Workflow Management: For Clouds and Data-Intensive and Scalable Computing Environments. Synthesis Lectures on Data Management. Morgan & Claypool Publishers.

Deelman, E., da Silva, R. F., Vahi, K., Rynge, M., Mayani, R., Tanaka, R., Whitcup, W. R., and Livny, M. (2021). The pegasus workflow management system: Translational computer science in practice. J. Comput. Sci., 52:101200.

Ferreira, W., Kunstmann, L., Paes, A., Bedo, M., and de Oliveira, D. (2024). Akôflow: um middleware para execução de workflows científicos em múltiplos ambientes conteinerizados. In Anais do XXXIX Simpósio Brasileiro de Bancos de Dados, pages 27–39, Florianópolis/SC. SBC.

Freire, J., Koop, D., Santos, E., and Silva, C. T. (2008). Provenance for computational tasks: A survey. Computing in science & engineering, 10(3):11–21.

Kunstmann, L., Pina, D., Oliveira, L., Oliveira, D., and Mattoso, M. (2022). Provdeploy: Explorando alternativas de conteinerização com proveniência para aplicações científicas com pad. In Anais do XXIII Simpósio em Sistemas Computacionais de Alto Desempenho, pages 49–60, Florianópolis/SC. SBC.

Kurtzer, G. M., Sochat, V., and Bauer, M. W. (2017). Singularity: Scientific containers for mobility of compute. PloS one, 12(5):e0177459.

Ogasawara, E. S., de Oliveira, D., Valduriez, P., Dias, J., Porto, F., and Mattoso, M. (2011). An algebraic approach for data-centric scientific workflows. Proc. VLDB Endow., 4(12):1328–1339.

Sakellariou, R. et al. (2009). Mapping workflows on grid resources: Experiments with the montage workflow. In ERCIM W. Group on Grids, pages 119–132.

Struhár, V., Behnam, M., Ashjaei, M., and Papadopoulos, A. V. (2020). Real-time containers: A survey. In Fog-IoT, volume 80 of OASIcs, pages 7:1–7:9.