Análise de desempenho do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos

• Francieli Zanon Boito UFRGS
• Rodrigo Virote Kassick UFRGS
• Philippe O. A. Navaux UFRGS

DOI: https://doi.org/10.5753/wscad.2009.17406

Resumo

Aplicações que executam em ambientes de cluster frequentemente geram grandes quantidades de dados, que podem precisar ser acessados de forma eficiente por todos os nós envolvidos na computação. Sistemas de arquivos distribuídos (SADs) constituem uma solução natural nesse caso. Dependendo das suas opções de projeto, esses sistemas podem apresentar variados comportamentos sob diferentes padrões de acesso. Assim, estudar como se comporta o desempenho de um SAD sob padrões de acesso verificados na prática é uma tarefa importante, pois fornece ferramentas para que as aplicações possam adequar as suas operações de E/S para tirar melhor proveito do sistema utilizado. Um desses padrões comuns em aplicações científicas é o acesso pelos nós a dados exclusivos. Duas formas de fazê-lo são empregar um arquivo por processo, ou segmentos de um arquivo compartilhado. Esse artigo apresenta um estudo sobre o comportamento do sistema de arquivos Lustre nessas situações, a fim de determinar a que deve ser preferida em cada caso. Para realizar o estudo, foram realizados testes que simulam os padrões de acesso. Os resultados permitiram concluir que, para operações de escrita com números grandes de clientes, a abordagem de arquivos múltiplos é a melhor. No entanto, para outras situações, ela se mostra equivalente e até pior que a de arquivo compartilhado.

Referências

The asci sppm benchmark code, 1998.

Understanding lustre filesystem internals. National Center for Computational Sciences and Sun Microsystems Inc., April 2009.

F. Z. Boito. Estratégias para avaliação do sistema de arquivos lustre. Trabalho de Conclusão de Curso - Universidade Federal do Rio Grande do Sul, 2009.

Lustre: A scalable, high-performance file system. Cluster File Systems Inc. white paper, version 1.0, November 2002. http://www.lustre.org/docs/whitepaper.pdf.

T. M.-I. Committee. Mpi-io: A parallel file i/o interface for mpi version 0.5, 1996.

A. E. Darling, L. Carey, andW.-C. Feng. The design, implementation, and evaluation of mpiblast. In In Proceedings of ClusterWorld 2003, 2003.

P. Dickens and J. Logan. Towards a high performance implementation of mpi-io on the lustre file system. In OTM ’08: Proceedings of the OTM 2008 Confederated International Conferences, CoopIS, DOA, GADA, IS, and ODBASE 2008. Part I on On the Move to Meaningful Internet Systems:, pages 870–885, Berlin, Heidelberg, 2008. Springer-Verlag.

P. M. Dickens and J. Logan. Y-lib: a user level library to increase the performance of mpi-io in a lustre file system environment. In HPDC ’09: Proceedings of the 18th ACM international symposium on High performance distributed computing, pages 31–38, New York, NY, USA, 2009. ACM.

B. Fryxell et al. Flash: An adaptive mesh hydrodynamics code for modeling astrophysical thermonuclear flashes. Astrophys. J. Suppl., 131:273–334, 2000.

R. V. Kassick, F. Z. Boito, and P. O. A. Navaux. Testing the performance of parallel file systems. In Anais do VI Workshop de Processamento Paralelo e Distribu´ido, Porto Alegre - RS, 2008.

W. keng Liao, A. Ching, K. Coloma, A. Choudhary, and M. Kandemir. Improving mpi independent write performance using a two-stage write-behind buffering method. Parallel and Distributed Processing Symposium, International, 0:295, 2007.

D. Kotz and C. S. Ellis. Practical prefetching techniques for multiprocessor file systems. Distrib. Parallel Databases, 1(1):33–51, 1993.

Mpi-io test user’s guide. Los Alamos National Laboratory, 2008.

J. Larkin and M. Fahey. Guidelines for efficient parallel i/o on the cray XT3/XT4. Cray Users Group Meeting (CUG), 2007.

E. Smirni and D. A. Reed. Lessons from characterizing in- put/output bahavior of parallel scientific applications, 1998.

Lustre networking: High-performance features and flexible support for a wide array of networks. Sun Microsystems white paper, version 1.0, November 2008.

F. Wang, Q. Xin, B. Hong, S. A. Brandt, E. L. Miller, D. D. E. Long, and T. T. Mclarty. File system workload analysis for large scale scientific computing applications. In In Proceedings of the 21st IEEE / 12th NASA Goddard Conference on Mass Storage Systems and Technologies, pages 139–152, 2004.

C. Winstead, H. Pritchard, and V. McKoy. Parallel computation of electron-molecule collisions. IEEE Comput. Sci. Eng., 2(3):34–42, 1995.