Compressão de Dados em Multicores com Flink ou SPar?
Resumo
Neste trabalho, foi implementada uma versão do algoritmo de compressão de dados Bzip2 com o framework para processamento de stream Apache Flink, a fim de avaliar seu desempenho em comparação com a versão do Bzip2 já existente na linguagem de domínio específica SPar. Os experimentos revelaram que a versão com SPar possui um desempenho muito superior ao Flink.Referências
Andrade, H. C. M., Gedik, B., and Turaga, D. S. (2014). Fundamentals of Stream Processing: Application Design, System and Analytics. Cambridge University Press, Cambridge CB2 8BS, United Kingdom.
Deshpande, T. (2017). Learning Apache Flink. Packt Publishing, Birmingham, United Kingdom. Foundation, A. S. (2019). Apache Flink®— Stateful Computations over Data Streams.
Griebler, D., Danelutto, M., Torquati, M., and Fernandes, L. G. (2017a). SPar: A DSL for High-Level and Productive Stream Parallelism. Parallel Processing Letters, 27(01):1740005.
Griebler, D., Hoffmann, R. B., Danelutto, M., and Fernandes, L. G. (2018). High-Level and Productive Stream Parallelism for Dedup, Ferret, and Bzip2. International Journal of Parallel Programming, 47(1):253–271.
Griebler, D., Hoffmann, R. B., Loff, J., Danelutto, M., and Fernandes, L. G. (2017b). High-Level and Efficient Stream Parallelism on Multi-core Systems with SPar for Data Compression Applications. In XVIII Simpósio em Sistemas Computacionais de Alto Desempenho, pages 16–27, Campinas, SP, Brasil. SBC.
Seward, J. (2017). A Program and Library for Data Compression. http://www.bzip.org/1.0.5/bzip2-manual-1.0.5.html.
Deshpande, T. (2017). Learning Apache Flink. Packt Publishing, Birmingham, United Kingdom. Foundation, A. S. (2019). Apache Flink®— Stateful Computations over Data Streams.
Griebler, D., Danelutto, M., Torquati, M., and Fernandes, L. G. (2017a). SPar: A DSL for High-Level and Productive Stream Parallelism. Parallel Processing Letters, 27(01):1740005.
Griebler, D., Hoffmann, R. B., Danelutto, M., and Fernandes, L. G. (2018). High-Level and Productive Stream Parallelism for Dedup, Ferret, and Bzip2. International Journal of Parallel Programming, 47(1):253–271.
Griebler, D., Hoffmann, R. B., Loff, J., Danelutto, M., and Fernandes, L. G. (2017b). High-Level and Efficient Stream Parallelism on Multi-core Systems with SPar for Data Compression Applications. In XVIII Simpósio em Sistemas Computacionais de Alto Desempenho, pages 16–27, Campinas, SP, Brasil. SBC.
Seward, J. (2017). A Program and Library for Data Compression. http://www.bzip.org/1.0.5/bzip2-manual-1.0.5.html.
Publicado
14/04/2021
Como Citar
MELLO, Fernanda; GRIEBLER, Dalvan; MANSSOUR, Isabel; FERNANDES, Luiz Gustavo.
Compressão de Dados em Multicores com Flink ou SPar?. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DA REGIÃO SUL (ERAD-RS), 21. , 2021, Evento Online.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2021
.
p. 77-80.
ISSN 2595-4164.
DOI: https://doi.org/10.5753/eradrs.2021.14779.
