Implementação e Avaliação do Paralelismo de Flink nas Aplicações de Processamento de Log e Análise de Cliques
Resumo
Este trabalho visou implementar e avaliar o desempenho das aplicações de Processamento de Log e Análise de Cliques no Apache Flink, comparando o desempenho com Apache Storm em um ambiente computacional distribuído. Os resultados mostram que a execução em Flink apresenta um consumo de recursos relativamente menor quando comparada a execução em Storm, mas possui um desvio padrão alto expondo um desbalanceamento de carga em execuções onde algum componente da aplicação é replicado.Referências
Bordin, M. V., Griebler, D., Mencagli, G., Geyer, C. F. R., and Fernandes, L. G. (2020). DSPBench: a Suite of Benchmark Applications for Distributed Data Stream Processing Systems. IEEE Access, 8(na):222900-222917.
Deshpande, A. and Kumar, M. (2018). Artificial Intelligence for Big Data: Complete guide to automating Big Data solutions using Artificial Intelligence techniques. Packt Publishing.
Huang, S., Huang, J., Dai, J., Xie, T., and Huang, B. (2010). The HiBench benchmark suite: Characterization of the MapReduce-based data analysis. In 2010 IEEE 26th International Conference on Data Engineering Workshops (ICDEW 2010), pages 41-51.
Lu, R., Wu, G., Xie, B., and Hu, J. (2014). Stream Bench: Towards benchmarking modern distributed stream computing frameworks. In 2014 IEEE/ACM 7th International Conference on Utility and Cloud Computing, pages 69-78.
Deshpande, A. and Kumar, M. (2018). Artificial Intelligence for Big Data: Complete guide to automating Big Data solutions using Artificial Intelligence techniques. Packt Publishing.
Huang, S., Huang, J., Dai, J., Xie, T., and Huang, B. (2010). The HiBench benchmark suite: Characterization of the MapReduce-based data analysis. In 2010 IEEE 26th International Conference on Data Engineering Workshops (ICDEW 2010), pages 41-51.
Lu, R., Wu, G., Xie, B., and Hu, J. (2014). Stream Bench: Towards benchmarking modern distributed stream computing frameworks. In 2014 IEEE/ACM 7th International Conference on Utility and Cloud Computing, pages 69-78.
Publicado
10/05/2023
Como Citar
FIM, Gabriel Rustick; GRIEBLER, Dalvan.
Implementação e Avaliação do Paralelismo de Flink nas Aplicações de Processamento de Log e Análise de Cliques. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DA REGIÃO SUL (ERAD-RS), 23. , 2023, Porto Alegre/RS.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2023
.
p. 69-72.
ISSN 2595-4164.
DOI: https://doi.org/10.5753/eradrs.2023.229290.
