Extens ão de um ambiente de computação de alto desempenho para o processamento de dados massivos

  • Lucas M. Ponce
  • Walter dos Santos
  • Wagner Meira Jr.
  • Dorgival Guedes

Resumo


A computação de alto desempenho (HPC) e o processamento de dados massivos (Big Data) são duas tendências em sistemas de computação que estão começando a convergir. Este trabalho apresenta nossa experiência nesse caminho de convergência, estendendo o COMP Superscalar (COMPSs), um modelo de programação paralela e distribuída já conhecido no mundo de HPC, para o processamento de dados massivos. Para isso, ele foi integrado ao HDFS, sistema de arquivos distribuído mais usado para Big Data, e ao Lemonade, uma ferramenta de análise e mineração de dados desenvolvida na UFMG. Os resultados mostram que a integração com o HDFS beneficia o COMPSs pela abstração de dados fornecida e a integração com o Lemonade facilita sua utilização e popularização naárea de Ciência dos Dados.
Publicado
10/05/2018
Como Citar

Selecione um Formato
PONCE, Lucas M.; SANTOS, Walter dos; JR., Wagner Meira; GUEDES, Dorgival. Extens ão de um ambiente de computação de alto desempenho para o processamento de dados massivos. In: SIMPÓSIO BRASILEIRO DE REDES DE COMPUTADORES E SISTEMAS DISTRIBUÍDOS (SBRC) , 2018 Anais do XXXVI Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos. Porto Alegre: Sociedade Brasileira de Computação, may 2018 . ISSN 2177-9384.