An Approach for Evaluating and Mitigating Intra-Application I/O Performance Variability Over Parallel File Systems

  • Eduardo Inacio Universidade Federal de Santa Catarina
  • Mario Antonio Dantas Universidade Federal de Santa Catarina

Resumo


Para atender aos crescentes requisitos de capacidade e desempenho deaplicações que fazem uso intensivo de dados, sistemas de armazena-mento altamente distribuídos e com múltiplas camadas têm sido em-pregados em ambientes de computação de alto desempenho (CAD).Um dos principais componentes dessas infraestruturas é o sistema dearquivos paralelo (SAP), um sistema projetado para absorver trans-ferências de dados em massa de aplicações com milhares de proces-sos. A distribuição de carga nos servidores de dados dos SAPs compõeuma importante fonte de variabilidade de desempenho de entrada/saída(E/S). Embora reduzir tal variabilidade seja desejável, já que essa éconhecida por prejudicar o desempenho percebido pela aplicação, en-tender e lidar com a variabilidade nesses ambientes complexos continuasendo um desafio. Nesta pesquisa, uma abordagem diferenciada paraavaliar e mitigar a variabilidade do desempenho de E/S intra-aplicaçãoem SAPs é proposta. Uma proposta de modelo analítico, denomi-nadoDTSMaxLoad, fornece estimativas para a carga máxima em umservidor de dados. Para complementar oDTSMaxLoad, modelandocondições e mecanismos difíceis de representar analiticamente, foi pro-posto o modelo de simulaçãoParallel I/O and Storage System(PIOSS). Para avaliação experimental em ambientes reais, foi pro-posta uma ferramenta de avaliação de desempenho de E/S flexível e dis-tribuída, chamadaIOR-Extended (IORE). Finalmente, uma abor-dagem de distribuição de arquivos de alto nível para SAPs, chamadaN-N Round-Robin (N2R2), foi proposta visando a redução da vari-abilidade do desempenho de E/S para aplicações em que cada processoacessa um arquivo independente. Um extenso esforço experimental foirealizado neste trabalho de pesquisa para avaliar cada uma das abor-dagens propostas. Em resumo, essa avaliação indicou que as propostasde modelagemDTSMaxLoadePIOSSpodem representar o compor-tamento da distribuição de carga em SAPs com fidelidade significativa.Adicionalmente, os resultados demonstraram que oN2R2reduziu comsucesso a variabilidade de desempenho de E/S intra-aplicação para 270cenários experimentais distintos, que, em última análise, se traduziramem melhorias gerais de desempenho de E/S da aplicação.

Publicado
12/11/2019
INACIO, Eduardo; DANTAS, Mario Antonio. An Approach for Evaluating and Mitigating Intra-Application I/O Performance Variability Over Parallel File Systems. In: CONCURSO DE TESES E DISSERTAÇÕES - SIMPÓSIO EM SISTEMAS COMPUTACIONAIS DE ALTO DESEMPENHO (SSCAD), 20. , 2019, Campo Grande. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2019 . p. 114-115. DOI: https://doi.org/10.5753/wscad_estendido.2019.8709.