Uma Proposta de Comparação de Ferramentas para Análise de Grandes Conjuntos de Dados: Aplicação a Repositório sobre Monitoramento da Camada de Ozõ nio

• Emilio Hoffmann de O.
• Andrea S. Charão

Resumo

Este artigo apresenta uma proposta de comparação de processamento de dados da camada de ozõnio provenientes do Ozone Monitoring Instrument (OMI), utilizando o Apache Hadoop e outras ferramentas alternativas. A comparação deve verificar as diferenças, dificuldades e possibilidades oferecidas pelas ferramentas, para o problema em questão. 1. Introdução Atualmente, existem diversas ferramentas dispostas a auxiliar o processamento distribuídos de grandes conjuntos de dados. A plataforma Apache Hadoop [White 2015], amplamente utilizada, é desenvolvida em Java e trabalha sobre dados armazenados em um sistema de arquivos distribuído, chamado de Hadoop Distributed File System (HDFS). A plataforma implementa o modelo de programação MapReduce, que permite operações paralelas sobre o conjunto de dados distribuídos. Dadas as contínuas demandas daárea, surgiram também ferramentas que podem ser utilizadas em conjunto ou paralelamente ao Hadoop, como Spark, Pig [Agneeswaran 2014].