Uma Abordagem Baseada em Feedback Control Loops para Otimização de Desempenho no Hadoop - Pereira, Anderson; Andrade, Sandro (Anais do Encontro Nacional de Computação dos Institutos Federais (ENCompIF); 2014: Anais do II Encontro Nacional de Computação dos Institutos Federais, 2014)
O modelo para computação distribuída MapReduce tornou-se popular no processamento distribuído de grandes conjuntos de dados. Apesar do Hadoop constituir uma plataforma completa para execução de jobs MapReduce, uma configuração mais elaborada dos seus diversos parâmetros pode trazer melhorias de desempenho. Este artigo apresenta uma extensão dos serviços básicos do Hadoop com o objetivo de suportar a execução facilitada de estratégias para feedback control. O objetivo é adicionar recursos de autogerenciamento para continuamente otimizar os parâmetros que impactam o desempenho. O artigo apresenta a arquitetura da solução proposta, um exemplo de uso de controladores PID e os resultados de experimentos preliminares.