Oferta ou Roubo: avaliando abordagens de escalonamento dinâmico para Workflow scRNA-seq na nuvem AWS

• Erik Izidoro UFF
• Cristina Boeres UFF
• Vinod E. F. Rebello UFF

DOI: https://doi.org/10.5753/eradse.2025.17007

Resumo

Gerenciar a execução de workflows científicos através do escalonamento dinâmico é crucial para alcançar desempenho e minimizar custos associados na nuvem. Uma vez que os workflows scRNA-seq tipicamente pré-processam Gigabytes de dados, este trabalho compara duas abordagens para paralelizar este passo demorado, identificando as vantagens da adoção de um paradigma Work Stealing (WS) ou Master-Worker (MW) para distribuir as tarefas de processamento. Experimentos conduzidos em instâncias da nuvem com diferentes números de CPUs e threads resultaram em dados que mostram que a abordagem MW é competitiva em termos de desempenho, com tempos de execução até 28,4% mais curtos na maioria das configurações testadas.

Referências

Amazon Web Services (2025). AWS Parallel Cluster. [link]. Acessado em: 20-05-2025.

NCBI. BioProject: PRJNA743046. [link]. Acessado em: 10-09-2025.

Silva, H. S., Castro, M. C., Silva, F. A., and Melo, A. C. (2024). A framework for automated parallel execution of scientific multi-workflow applications in the cloud with work stealing. In European Conference on Parallel Processing, pages 298–311. Springer.

Silva, V. et al. (2021). CellHeap: A workflow for optimizing COVID-19 single-cell RNA-Seq data processing in the Santos Dumont supercomputer. In Brazilian Symposium on Bioinformatics, pages 41–52. Springer.