Spark-SGreedy: Um Algoritmo de Escalonamento de Workflows Intensivos em Dados no Framework Apache Spark - Sousa, Victor F. de; Boeres, Cristina; Oliveira, Daniel (Anais da Escola Regional de Alto Desempenho da Região Sudeste (ERAD-SE); 2020: Anais da VI Escola Regional de Alto Desempenho do Rio de JaneiroDO - 10.5753/eradrj.2020.14518, 2020)
Nos últimos anos, o Apache Spark vem sendo utilizado como framework para execução de experimentos científicos modelados como workflows. Por mais que represente um avanço, o Spark não foi projetado para gerenciar execuções de aplicações científicas, e seu escalonamento não considera estimativas de consumo de recursos pelas atividades do workflow. Esse artigo apresenta o Spark-SGreedy, uma proposta de algoritmo de escalonamento de workflows no Spark que usa dados de proveniência (histórico) para analisar a previsão de consumo de recursos das atividades do workflow e escaloná-las de acordo com tal previsão.