Compressão de Dados em Multicores com Flink ou SPar?

  • Fernanda Mello PUCRS
  • Dalvan Griebler PUCRS
  • Isabel Manssour PUCRS
  • Luiz Gustavo Fernandes PUCRS

Resumo


Neste trabalho, foi implementada uma versão do algoritmo de compressão de dados Bzip2 com o framework para processamento de stream Apache Flink, a fim de avaliar seu desempenho em comparação com a versão do Bzip2 já existente na linguagem de domínio específica SPar. Os experimentos revelaram que a versão com SPar possui um desempenho muito superior ao Flink.

Referências

Andrade, H. C. M., Gedik, B., and Turaga, D. S. (2014). Fundamentals of Stream Processing: Application Design, System and Analytics. Cambridge University Press, Cambridge CB2 8BS, United Kingdom.

Deshpande, T. (2017). Learning Apache Flink. Packt Publishing, Birmingham, United Kingdom. Foundation, A. S. (2019). Apache Flink®— Stateful Computations over Data Streams.

Griebler, D., Danelutto, M., Torquati, M., and Fernandes, L. G. (2017a). SPar: A DSL for High-Level and Productive Stream Parallelism. Parallel Processing Letters, 27(01):1740005.

Griebler, D., Hoffmann, R. B., Danelutto, M., and Fernandes, L. G. (2018). High-Level and Productive Stream Parallelism for Dedup, Ferret, and Bzip2. International Journal of Parallel Programming, 47(1):253–271.

Griebler, D., Hoffmann, R. B., Loff, J., Danelutto, M., and Fernandes, L. G. (2017b). High-Level and Efficient Stream Parallelism on Multi-core Systems with SPar for Data Compression Applications. In XVIII Simpósio em Sistemas Computacionais de Alto Desempenho, pages 16–27, Campinas, SP, Brasil. SBC.

Seward, J. (2017). A Program and Library for Data Compression. http://www.bzip.org/1.0.5/bzip2-manual-1.0.5.html.
Publicado
14/04/2021
MELLO, Fernanda; GRIEBLER, Dalvan; MANSSOUR, Isabel; FERNANDES, Luiz Gustavo. Compressão de Dados em Multicores com Flink ou SPar?. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DA REGIÃO SUL (ERAD-RS), 21. , 2021, Evento Online. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2021 . p. 77-80. ISSN 2595-4164. DOI: https://doi.org/10.5753/eradrs.2021.14779.