Paralelização do Framework Model-R de Modelagem de Nichos Ecológicos com a Plataforma Apache Spark
Resumo
Este trabalho tem como objetivo avaliar o desempenho computacional do framework Model-R de modelagem de nichos ecológiocs no modelo de programação Spark para processamento de dados massivos (Big Data) em uma plataforma de supercomputação. Com o crescimento exponencial dos dados ecológicos e ambientais, torna-se necessário que ferramentas de modelagem de nichos ecológicos, como o Model-R, estejam preparadas para processar tais dados de forma escalável, sendo capazes de analisá-los em um tempo hábil. Nesta pesquisa, o Model-R, originalmente implementado em R com a biblioteca Snowfall, foi parcialmente portado para a plataforma Spark e sua avaliação no supercomputador Santos Dumont está em andamento.
Palavras-chave:
Framework, Nichos Ecológicos, Apache Spark
Referências
Drake, J. M., Randin, C., and Guisan, A. (2006). Modelling ecological niches with sup- port vector machines. Journal of applied ecology, 43(3):424–432.
Knaus, J. (2010). Developing parallel programs using snowfall. Retrieved from CRAN.
Meng, X., Bradley, J., Yavuz, B., Sparks, E., Venkataraman, S., Liu, D., Freeman, J., Tsai, D., Amde, M., Owen, S., et al. (2016). Mllib: Machine learning in apache spark. The Journal of Machine Learning Research, 17(1):1235–1241.
Sánchez-Tapia, A., de Siqueira, M. F., Lima, R. O., Barros, F. S. M., Gall, G. M., Gadelha, L. M. R., da Silva, L. A. E., and Osthoff, C. (2018). Model-r: A framework for scalable and reproducible ecological niche modeling. In Mocskos, E. and Nesmachnow, S., editors, High Performance Computing, pages 218–232, Cham. Springer International Publishing.
Venkataraman, S., Yang, Z., Liu, D., Liang, E., Falaki, H., Meng, X., Xin, R., Ghodsi, A., Franklin, M., Stoica, I., and Zaharia, M. (2016). Sparkr: Scaling r programs with spark. In Proceedings of the 2016 International Conference on Management of Data, SIGMOD ’16, pages 1099–1104, New York, NY, USA. ACM.
Zaharia, M., Xin, R. S., Wendell, P., Das, T., Armbrust, M., Dave, A., Meng, X., Rosen, J., Venkataraman, S., Franklin, M. J., et al. (2016). Apache spark: a unified engine for big data processing. Communications of the ACM, 59(11):56–65.
Knaus, J. (2010). Developing parallel programs using snowfall. Retrieved from CRAN.
Meng, X., Bradley, J., Yavuz, B., Sparks, E., Venkataraman, S., Liu, D., Freeman, J., Tsai, D., Amde, M., Owen, S., et al. (2016). Mllib: Machine learning in apache spark. The Journal of Machine Learning Research, 17(1):1235–1241.
Sánchez-Tapia, A., de Siqueira, M. F., Lima, R. O., Barros, F. S. M., Gall, G. M., Gadelha, L. M. R., da Silva, L. A. E., and Osthoff, C. (2018). Model-r: A framework for scalable and reproducible ecological niche modeling. In Mocskos, E. and Nesmachnow, S., editors, High Performance Computing, pages 218–232, Cham. Springer International Publishing.
Venkataraman, S., Yang, Z., Liu, D., Liang, E., Falaki, H., Meng, X., Xin, R., Ghodsi, A., Franklin, M., Stoica, I., and Zaharia, M. (2016). Sparkr: Scaling r programs with spark. In Proceedings of the 2016 International Conference on Management of Data, SIGMOD ’16, pages 1099–1104, New York, NY, USA. ACM.
Zaharia, M., Xin, R. S., Wendell, P., Das, T., Armbrust, M., Dave, A., Meng, X., Rosen, J., Venkataraman, S., Franklin, M. J., et al. (2016). Apache spark: a unified engine for big data processing. Communications of the ACM, 59(11):56–65.
Publicado
24/06/2019
Como Citar
ALBUQUERQUE, Matheus Machado da Rosa; GADELHA JR, Luiz .
Paralelização do Framework Model-R de Modelagem de Nichos Ecológicos com a Plataforma Apache Spark. In: BRAZILIAN E-SCIENCE WORKSHOP (BRESCI), 13. , 2019, Belém.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2019
.
p. 72-75.
ISSN 2763-8774.
DOI: https://doi.org/10.5753/bresci.2019.6313.
