Estratégia para fase de Merge utilizando agrupamento local

  • Darlon Vasata
  • Liria Matsumoto Sato

Resumo


O processamento de aplicações de grandes quantidades de dados é um tema amplamente discutido pela comunidade científica atualmente. Modelos como PMDE e Mapreduce processam tais dados em fases, que envolvem execução, trocas de dados e agrupamento. A fase de Merge é responsável por agrupar valores associados a uma mesma chave. Neste trabalho, propomos dividir tal fase em duas etapas: redução do tamanho daárvore utilizando agrupamento de pares com merge local e merge de pares recebidos de outras máquinas. A estratégia será aplicada ao ambiente de execução do modelo PMDE. Pretende-se obter um aumento de desempenho para determinadas aplicações utilizando esta estratégia, por meio da redução no tráfego de dados e diminuição do uso de memória.
Publicado
10/04/2017
VASATA, Darlon; SATO, Liria Matsumoto. Estratégia para fase de Merge utilizando agrupamento local. In: ESCOLA REGIONAL DE ALTO DESEMPENHO DE SÃO PAULO (ERAD-SP) , 2017, São Carlos. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2017 . p. 57 - 60.