Investigando o Impacto dos Algoritmos de Controle de Congestionamento na execução do Apache Spark - Boscatto, Enzo B.; Marcondes, Anderson H. da S.; Koslovski, Guilherme P. (Anais da Escola Regional de Alto Desempenho da Região Sul (ERAD-RS); 2025: Anais da XXV Escola Regional de Alto Desempenho da Região Sul, 2025)
O Apache Spark é um framework de processamento distribuído que supera limitações de modelos como o Hadoop MapReduce, através de otimizações como a execução em memória e suporte a operações iterativas. Sua capacidade de processar dados, transmiti-los e aplicar algoritmos de machine learning o torna essencial para as demandas computacionais atuais. No entanto, ao lidar com grandes volumes de dados, o Apache Spark enfrenta desafios oriundos do congestionamento de rede em momentos importantes, como na redistribuição de dados entre nós, que pode saturar a largura de banda existente. O presente estudo percorre diferentes cenários, replicando tráfego de rede utilizando da ferramenta iPerf, para comparar a eficácia dos protocolos de controle de congestionamento TCP, em específico: Cubic, Reno e DCTCP, na execução de uma aplicação Spark com características determinantes para comparação.