Implementação e Avaliação do Paralelismo de Flink nas Aplicações de Processamento de Log e Análise de Cliques

  • Gabriel Rustick Fim SETREM
  • Dalvan Griebler SETREM

Resumo


Este trabalho visou implementar e avaliar o desempenho das aplicações de Processamento de Log e Análise de Cliques no Apache Flink, comparando o desempenho com Apache Storm em um ambiente computacional distribuído. Os resultados mostram que a execução em Flink apresenta um consumo de recursos relativamente menor quando comparada a execução em Storm, mas possui um desvio padrão alto expondo um desbalanceamento de carga em execuções onde algum componente da aplicação é replicado.

Referências

Bordin, M. V., Griebler, D., Mencagli, G., Geyer, C. F. R., and Fernandes, L. G. (2020). DSPBench: a Suite of Benchmark Applications for Distributed Data Stream Processing Systems. IEEE Access, 8(na):222900-222917.

Deshpande, A. and Kumar, M. (2018). Artificial Intelligence for Big Data: Complete guide to automating Big Data solutions using Artificial Intelligence techniques. Packt Publishing.

Huang, S., Huang, J., Dai, J., Xie, T., and Huang, B. (2010). The HiBench benchmark suite: Characterization of the MapReduce-based data analysis. In 2010 IEEE 26th International Conference on Data Engineering Workshops (ICDEW 2010), pages 41-51.

Lu, R., Wu, G., Xie, B., and Hu, J. (2014). Stream Bench: Towards benchmarking modern distributed stream computing frameworks. In 2014 IEEE/ACM 7th International Conference on Utility and Cloud Computing, pages 69-78.
Publicado
10/05/2023
FIM, Gabriel Rustick; GRIEBLER, Dalvan. Implementação e Avaliação do Paralelismo de Flink nas Aplicações de Processamento de Log e Análise de Cliques. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DA REGIÃO SUL (ERAD-RS), 23. , 2023, Porto Alegre/RS. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2023 . p. 69-72. ISSN 2595-4164. DOI: https://doi.org/10.5753/eradrs.2023.229290.