Estratégia para fase de Merge utilizando agrupamento local

• Darlon Vasata
• Liria Matsumoto Sato

Resumo

O processamento de aplicações de grandes quantidades de dados é um tema amplamente discutido pela comunidade científica atualmente. Modelos como PMDE e Mapreduce processam tais dados em fases, que envolvem execução, trocas de dados e agrupamento. A fase de Merge é responsável por agrupar valores associados a uma mesma chave. Neste trabalho, propomos dividir tal fase em duas etapas: redução do tamanho daárvore utilizando agrupamento de pares com merge local e merge de pares recebidos de outras máquinas. A estratégia será aplicada ao ambiente de execução do modelo PMDE. Pretende-se obter um aumento de desempenho para determinadas aplicações utilizando esta estratégia, por meio da redução no tráfego de dados e diminuição do uso de memória.