Avaliação Experimental da Configuração do Threshold de Balanceamento de Réplicas no HDFS Balancer
Resumo
O HDFS Balancer opera através de um threshold que determina o nível de equilíbrio a ser atingindo com a redistribuição dos dados. Definir um threshold ideal, entretanto, apresenta-se com um desafio para o administrador do sistema. Este trabalho analisa o comportamento do HDFS através de experimentos com variações na configuração do threshold. Os resultados demonstram as melhorias de desempenho impulsionadas pelo balanceamento do cluster.
Palavras-chave:
Sistemas Distribuídos, Tolerância a Falhas, Big Data
Referências
Hortonworks (2019). “Balancing data across an HDFS cluster”. https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.4/data-storage/content/balancing_data_across_hdfs_cluster.html. Dezembro.
Shvachko, K., Kuang, H., Radia, S., and Chansler, R. (2010). The hadoop distributed file system. In Symposium on Mass Storage Systems and Technologies, pages 1–10. IEEE.
White, T. (2015). Hadoop: The Definitive Guide. O’Reilly Media, Inc., 4 edition.
Shvachko, K., Kuang, H., Radia, S., and Chansler, R. (2010). The hadoop distributed file system. In Symposium on Mass Storage Systems and Technologies, pages 1–10. IEEE.
White, T. (2015). Hadoop: The Definitive Guide. O’Reilly Media, Inc., 4 edition.
Publicado
15/04/2020
Como Citar
BARCELOS, Patricia Pitthan; FAZUL, Rhauani Weber Aita.
Avaliação Experimental da Configuração do Threshold de Balanceamento de Réplicas no HDFS Balancer. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DA REGIÃO SUL (ERAD-RS), 20. , 2020, Santa Maria.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2020
.
p. 29-32.
ISSN 2595-4164.
DOI: https://doi.org/10.5753/eradrs.2020.10748.
