Estratégia Reativa e Orientada a Eventos para o Balanceamento de Réplicas em um Cluster HDFS

• Rhauani Weber Aita Fazul UFSM
• Patrícia Pitthan Barcelos UFSM

DOI: https://doi.org/10.5753/sbesc_estendido.2021.18498

Resumo

O HDFS Balancer é a solução oficial para o balanceamento de réplicas no sistema de arquivos distribuído do Hadoop (HDFS). Atualmente, é responsabilidade do administrador do cluster monitorar o estado do sistema e, quando julgar necessário, disparar a execução do balanceador. A configuração e disparo sob demanda do HDFS Balancer, entretanto, apresentam limitações e podem comprometer o propósito do processo. Este trabalho apresenta uma estratégia para o balanceamento reativo que toma ações automáticas baseadas no estado de atividade e inatividade dos nodos. Os resultados obtidos demonstraram que a solução é capaz de reagir adequadamente a eventos de adição e redução de nodos, promovendo o balanceamento de réplicas no HDFS.

Palavras-chave: balanceamento de réplicas, estratégia reativa, replicação de dados, sistemas de arquivos distribuídos

Referências

Apache Software Foundation. (2021) Apache hadoop. [Online]. Available: https://hadoop.apache.org/docs/r3.3.1/. [Acesso: Junho, 2021].

T. White, Hadoop: The Definitive Guide, 4th ed. Sebastopol: O’Reilly Media, Inc., 2015.

G. Turkington, Hadoop Beginner’s Guide, 1st ed. Birmingham: Packt Publishing Ltd, 2013.

K. Shvachko, H. Kuang, S. Radia, and R. Chansler, “The hadoop distributed file system,” in Symposium on Mass Storage Systems and Technologies. IEEE, 2010, pp. 1–10.

Cloudera, Inc. (2021) Managing data storage: Balancing data across an hdfs cluster. [Online]. Available: [link]. [Acesso: Junho, 2021].

W. Dai, I. Ibrahim, and M. Bassiouni, “An improved replica placement policy for hadoop distributed file system running on cloud platforms,” in 2017 IEEE 4th International Conference on Cyber Security and Cloud Computing. IEEE, 2017, pp. 270–275.

J. Dharanipragada, S. Padala, B. Kammili, and V. Kumar, “Tula: A disk latency aware balancing and block placement strategy for hadoop,” in 2017 IEEE International Conference on Big Data (Big Data). IEEE, 2017, pp. 2853–2858.

R. W. A. Fazul and P. P. Barcelos, “Automation and prioritization of replica balancing in hdfs,” in Proceedings of the 36th Annual ACM Symposium on Applied Computing, 2021, pp. 35–38.

S. Haloi, Apache Zookeeper Essentials, 1st ed. Birmingham: Packt Publishing Ltd, 2015.

F. Junqueira and B. Reed, ZooKeeper: Distributed Process Coordination, 1st ed. O’Reilly Media, Inc., 2013.