Análise de Dados Científicos: uma Análise Comparativa de Dados de Simulações Computacionais

• Thaylon Guedes Universidade Federal Fluminense
• Vítor Silva Universidade Federal do Rio de Janeiro
• José Camata Universidade Federal do Rio de Janeiro
• Marta Mattoso Universidade Federal do Rio de Janeiro
• Daniel de Oliveira Universidade Federal Fluminense

DOI: https://doi.org/10.5753/sbbd.2017.174142

Resumo

Os avanços nas simulações computacionais têm permitido o processamento de volumes de dados cada vez maiores. Para representar as estruturas de dados complexas inerentes de tais simulações, elas são armazenadas em arquivos de formatos heterogêneos. Carregar tais dados em um SGBD, como o SciDB, para apoiar as análises deles se torna uma tarefa complexa, ou mesmo inviável, devido ao seu volume e/ou estrutura. Para evitar esse carregamento, existem abordagens que realizam consultas adaptativas e/ou que indexam os arquivos. Escolher a mais adequada pode não ser trivial. Neste artigo realizamos uma análise comparativa em termos de desempenho das abordagens de consulta de dados produzidos por uma simulação em dinâmica de fluídos computacional.

Palavras-chave: Simulações Computacionais, Consulta de Dados, Dinâmica de Fluídos Computacional

Referências

Ayachit, U., Bauer, A., Geveci, B., O’Leary, P., Moreland, K., Fabian, N., and Mauldin, J. (2015). Paraview catalyst: Enabling in situ data analysis and visualization. In Proceedings of the First Workshop on In Situ Infrastructures for Enabling Extreme-Scale Analysis and Visualization, ISAV2015, pages 25–29, New York, NY, USA. ACM.

Blanas, S., Wu, K., Byna, S., Dong, B., and Shoshani, A. (2014). Parallel data analysis directly on scientific file formats. In Proceedings of the 2014 ACM SIGMOD International Conference on Management of Data, SIGMOD ’14, pages 385–396, New York, NY, USA. ACM.

Freire, J., Koop, D., Santos, E., and Silva, C. T. (2008). Provenance for computational tasks: A survey. Computing in Science Engineering, 10(3):11–21.

Guerra, G. M., Zio, S., Camata, J. J., Dias, J., Elias, R. N., Mattoso, M., B. Paraizo, P. L., G. A. Coutinho, A. L., and Rochinha, F. A. (2016). Uncertainty quantification in numerical simulation of particle-laden flows. Computational Geosciences, 20(1):265–281.

Karpathiotakis, M., Branco, M., Alagiannis, I., and Ailamaki, A. (2014). Adaptive query processing on raw data. Proc. VLDB Endow., 7(12):1119–1130.

Moreau, L. and Groth, P. T. (2013). Provenance: An Introduction to PROV. Synthesis Lectures on the Semantic Web: Theory and Technology. Morgan & Claypool Publishers.

Silva, V., Camata, J., de Oliveira, D., Coutinho, A. L., Valduriez, P., and Mattoso, M. (2016). In situ data steering on sedimentation simulation with provenance data. In International Conference for High Performance Computing, Networking, Storage and Analysis, SC’16.

Silva, V., Leite, J., Camata, J. J., de Oliveira, D., Coutinho, A. L., Valduriez, P., and Mattoso, M. (2017). Raw data queries during data-intensive parallel workflow execution. Future Generation Computer Systems, 75:402 – 422.