Characterizing Compute-Communication Duality in Halo-Exchange Masking for Seismic Wave Simulation
Resumo
Códigos sísmicos baseados em stencil utilizam a troca de halo para sobrepor a comunicação de fronteira ao cálculo. As camadas absorventes Convolutional Perfectly Matched Layer (CPML) introduzem uma dualidade: subdomínios nos cantos, arestas e faces possuem cargas computacionais mais pesadas, porém menos vizinhos, enquanto subdomínios interiores têm mais vizinhos, mas menos trabalho para mascarar a comunicação. Implementamos uma decomposição 3D de um solver elastodinâmico com CPML, avaliada no Grid’5000 em dois clusters, três interconexões, cinco tamanhos de problema e até 125 ranks MPI. A análise baseada em traços mostra que a eficiência de mascaramento decresce monotonicamente com o número de vizinhos, e que essa diferença é menor em domínios maiores devido à maior razão volume-superfície e à diluição da região CPML de espessura fixa. Minimizar o volume de comunicação via decomposição 3D não resolve essa dualidade, pois o mascaramento efetivo depende da co-localização, por rank, entre capacidade de computação e custo de comunicação.
Referências
Dupros, F., Aochi, H., Ducellier, A., Komatitsch, D., and Roman, J. (2008). Exploiting intensive multithreading for the efficient simulation of 3D seismic wave propagation. In Proceedings of the 11th IEEE International Conference on Computational Science and Engineering (CSE), pages 253–260.
Dupros, F., Do, H.-T., and Aochi, H. (2013). On scalability issues of the elastodynamics equations on multicore platforms. Procedia Computer Science, 18:1226–1234.
Graves, R. W. (1996). Simulating seismic wave propagation in 3D elastic media using staggered-grid finite differences. Bulletin of the Seismological Society of America, 86(4):1091–1106.
Kjolstad, F. B. and Snir, M. (2010). Ghost cell pattern. In Proceedings of the 2010 Workshop on Parallel Programming Patterns (ParaPLoP), pages 1–9.
Komatitsch, D. and Martin, R. (2007). An unsplit convolutional perfectly matched layer improved at grazing incidence for the seismic wave equation. Geophysics, 72(5):SM155–SM167.
Michéa, D. and Komatitsch, D. (2010). Accelerating a three-dimensional finite-difference wave propagation code using GPU graphics cards. Geophysical Journal International, 182(1):389–402.
Okamoto, T., Takenaka, H., Nakamura, T., and Aoki, T. (2010). Accelerating large-scale simulation of seismic wave propagation by multi-GPUs and three-dimensional domain decomposition. Earth, Planets and Space, 62(12):939–942.
Pekkilä, J., Väisälä, M. S., Käpylä, M. J., Rheinhardt, M., and Lappi, O. (2022). Scalable communication for high-order stencil computations using CUDA-aware MPI. Parallel Computing, 111:102904.
Solórzano, A. L. V., Navaux, P. O. A., and Schnorr, L. M. (2020). Temporal load imbalance on Ondes3D seismic simulator for different multicore architectures. In Proceedings of the 2020 International Conference on High Performance Computing and Simulation (HPCS), pages 1–8.
Tesser, R. K., Schnorr, L. M., Legrand, A., Heinrich, F. C., Dupros, F., and Navaux, P. O. A. (2019). Performance modeling of a geophysics application to accelerate the tuning of over-decomposition parameters through simulation. Concurrency and Computation: Practice and Experience, 31(11):1–21.
Zhou, J., Cui, Y., Poyraz, E., Choi, D. J., and Guest, C. C. (2013). Multi-GPU implementation of a 3D finite difference time domain earthquake code on heterogeneous supercomputers. Procedia Computer Science, 18:1255–1264.
