An Approach for Evaluating and Mitigating Intra-Application I/O Performance Variability Over Parallel File Systems
Resumo
Para atender aos crescentes requisitos de capacidade e desempenho deaplicações que fazem uso intensivo de dados, sistemas de armazena-mento altamente distribuídos e com múltiplas camadas têm sido em-pregados em ambientes de computação de alto desempenho (CAD).Um dos principais componentes dessas infraestruturas é o sistema dearquivos paralelo (SAP), um sistema projetado para absorver trans-ferências de dados em massa de aplicações com milhares de proces-sos. A distribuição de carga nos servidores de dados dos SAPs compõeuma importante fonte de variabilidade de desempenho de entrada/saída(E/S). Embora reduzir tal variabilidade seja desejável, já que essa éconhecida por prejudicar o desempenho percebido pela aplicação, en-tender e lidar com a variabilidade nesses ambientes complexos continuasendo um desafio. Nesta pesquisa, uma abordagem diferenciada paraavaliar e mitigar a variabilidade do desempenho de E/S intra-aplicaçãoem SAPs é proposta. Uma proposta de modelo analítico, denomi-nadoDTSMaxLoad, fornece estimativas para a carga máxima em umservidor de dados. Para complementar oDTSMaxLoad, modelandocondições e mecanismos difíceis de representar analiticamente, foi pro-posto o modelo de simulaçãoParallel I/O and Storage System(PIOSS). Para avaliação experimental em ambientes reais, foi pro-posta uma ferramenta de avaliação de desempenho de E/S flexível e dis-tribuída, chamadaIOR-Extended (IORE). Finalmente, uma abor-dagem de distribuição de arquivos de alto nível para SAPs, chamadaN-N Round-Robin (N2R2), foi proposta visando a redução da vari-abilidade do desempenho de E/S para aplicações em que cada processoacessa um arquivo independente. Um extenso esforço experimental foirealizado neste trabalho de pesquisa para avaliar cada uma das abor-dagens propostas. Em resumo, essa avaliação indicou que as propostasde modelagemDTSMaxLoadePIOSSpodem representar o compor-tamento da distribuição de carga em SAPs com fidelidade significativa.Adicionalmente, os resultados demonstraram que oN2R2reduziu comsucesso a variabilidade de desempenho de E/S intra-aplicação para 270cenários experimentais distintos, que, em última análise, se traduziramem melhorias gerais de desempenho de E/S da aplicação.
