Avaliação Experimental da Configuração do Threshold de Balanceamento de Réplicas no HDFS Balancer

  • Patricia Pitthan Barcelos UFSM
  • Rhauani Weber Aita Fazul UFSM

Resumo


O HDFS Balancer opera através de um threshold que determina o nível de equilíbrio a ser atingindo com a redistribuição dos dados. Definir um threshold ideal, entretanto, apresenta-se com um desafio para o administrador do sistema. Este trabalho analisa o comportamento do HDFS através de experimentos com variações na configuração do threshold. Os resultados demonstram as melhorias de desempenho impulsionadas pelo balanceamento do cluster.

Palavras-chave: Sistemas Distribuídos, Tolerância a Falhas, Big Data

Referências

Hortonworks (2019). “Balancing data across an HDFS cluster”. https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.4/data-storage/content/balancing_data_across_hdfs_cluster.html. Dezembro.

Shvachko, K., Kuang, H., Radia, S., and Chansler, R. (2010). The hadoop distributed file system. In Symposium on Mass Storage Systems and Technologies, pages 1–10. IEEE.

White, T. (2015). Hadoop: The Definitive Guide. O’Reilly Media, Inc., 4 edition.
Publicado
15/04/2020
BARCELOS, Patricia Pitthan; FAZUL, Rhauani Weber Aita. Avaliação Experimental da Configuração do Threshold de Balanceamento de Réplicas no HDFS Balancer. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DA REGIÃO SUL (ERAD-RS), 20. , 2020, Santa Maria. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2020 . p. 29-32. ISSN 2595-4164. DOI: https://doi.org/10.5753/eradrs.2020.10748.