Caracterização de Operações de E/S por meio da Análise de Logs

• Thomas S. Wiederkehr UFRGS
• Philippe O. A. Navaux UFRGS
• Cristiano A. Künas UFRGS

DOI: https://doi.org/10.5753/eradrs.2024.238724

Resumo

A popularidade de aplicações que exigem uma vasta quantidade de recursos computacionais, como algoritmos de Deep Learning (DL) e Machine Learning (ML), retoma a necessidade de pesquisar e otimizar os sistemas de alta performance computacional (HPC). Neste contexto, analisar e categorizar operações de E/S se torna crucial para realizar ajustes de performance, visto que estas ainda são um dos principais gargalos de desempenho em sistemas HPC. Neste artigo a abordagem de caracterizar operações de E/S por meio da analise de logs é demonstrada pelo estudo de aplicações de DL executadas no supercomputador Santos Dumont (SDumont).

Referências

Amodei, D., Ananthanarayanan, S., Anubhai, R., Bai, J., Battenberg, E., Case, C., Casper, J., Catanzaro, B., Cheng, Q., Chen, G., et al. (2016). Deep speech 2: End-to-end speech recognition in english and mandarin. In ICML, pages 173–182. PMLR.

Bez, J. L., Carneiro, A. R., Pavan, P. J., Girelli, V. S., Boito, F. Z., Fagundes, B. A., Osthoff, C., da Silva Dias, P. L., Méhaut, J.-F., and Navaux, P. O. (2020). I/O performance of the Santos Dumont supercomputer. IJHPCA, 34(2):227–245.

Chien, S. W., Podobas, A., Peng, I. B., and Markidis, S. (2020). tf-Darshan: Understanding fine-grained I/O performance in machine learning workloads. In 2020 IEEE CLUSTER, pages 359–370. IEEE.

Devarajan, H., Zheng, H., Sun, X.-H., and Vishwanath, V. (2020). Understanding I/O behavior of scientific deep learning applications in HPC systems.

Paul, A. K., Karimi, A. M., and Wang, F. (2021). Characterizing machine learning i/o workloads on leadership scale hpc systems. In 2021 29th MASCOTS, pages 1–8. IEEE.

Pavan, P. J., Bez, J. L., Serpa, M. S., Boito, F. Z., and Navaux, P. O. (2019). An unsupervised learning approach for i/o behavior characterization. In 2019 31st SBAC-PAD, pages 33–40. IEEE.