Compressão de Dados em Clusters HPC com Flink, MPI e SPar

• Gabriel Rustick Fim SETREM
• Greice Aline Welter SETREM
• Júnior Löff PUCRS
• Dalvan Griebler SETREM / PUCRS

DOI: https://doi.org/10.5753/eradrs.2022.19153

Resumo

Este trabalho visa avaliar o desempenho do algoritmo de compressão de dados Bzip2 com as ferramentas de processamento de stream Apache Flink, MPI e SPar utilizando um cluster Beowulf. Os resultados mostram que as versões com maior desempenho em relação ao tempo sequencial são o MPI e SPar com speed-up de 7,6 e 7,2 vezes, respectivamente.

Referências

Astsatryan, H., Kocharyan, A., Hagimont, D., and Lalayan, A. (2020). Performance Optimization System for Hadoop and Spark Frameworks. Cybernetics and Information Technologies, 20:13.

Gilchrist, J. (2004). Parallel data compression with bzip2. In Proceedings of the 16th IASTED international conference on parallel and distributed computing and systems, volume 16, pages 559–564. Citeseer.

Griebler, D., Hoffmann, R. B., Loff, J., Danelutto, M., et al. (2017). High-Level and Efficient Stream Parallelism on Multi-core Systems with SPar for Data Compression Applications. In XVIII WSCAD, pages 16–27, Campinas, SP, Brasil. SBC.

Mello, F., Griebler, D., Manssour, I., and Fernandes, L. G. (2021). Compressão de dados em multicores com flink ou spar? In Anais da XXI Escola Regional de Alto Desempenho da Região Sul, pages 77–80, Porto Alegre, RS, Brasil. SBC.