Proposal for comparison and measurement of parallel and distributed file systems for training ML models in the healthcare - Vargas, João V.; Künas, Cristiano A.; Araújo, Thiago; Morales, Bruno; Navaux, Philippe O. A. (Anais da Escola Regional de Alto Desempenho da Região Sul (ERAD-RS), 2025)
Diversas áreas da ciência passam a depender cada vez mais da computação de alto desempenho (HPC) para processar e analisar grandes volumes de dados experimentais. Ao mesmo tempo, os sistemas de armazenamento em ambientes modernos de HPC devem se adaptar a diferentes padrões de acesso. Esses padrões envolvem operações frequentes de metadados, inúmeras solicitações de E/S pequenas e acesso aleatório a arquivos, enquanto os sistemas tradicionais de arquivos paralelos foram otimizados principalmente para acesso sequencial e compartilhado a arquivos grandes. Nesta pesquisa, compararemos o GekkoFS e avaliaremos seu desempenho em relação ao Lustre, um sistema de arquivos paralelo amplamente utilizado que atende aos exigentes requisitos dos ambientes de simulação em HPC. Nossa comparação tem como objetivo destacar os pontos fortes e as limitações de cada sistema para treinar modelos de machine learning.