Uma Proposta de Comparação de Ferramentas para Análise de Grandes Conjuntos de Dados: Aplicação a Repositório sobre Monitoramento da Camada de Ozõ nio - O., Emilio Hoffmann de; Charão, Andrea S. (Anais da Escola Regional de Alto Desempenho da Região Sul (ERAD-RS); 2017: Anais da XVII Escola Regional de Alto Desempenho do Estado do Rio Grande do Sul, 2017)
Este artigo apresenta uma proposta de comparação de processamento de dados da camada de ozõnio provenientes do Ozone Monitoring Instrument (OMI), utilizando o Apache Hadoop e outras ferramentas alternativas. A comparação deve verificar as diferenças, dificuldades e possibilidades oferecidas pelas ferramentas, para o problema em questão. 1. Introdução Atualmente, existem diversas ferramentas dispostas a auxiliar o processamento distribuídos de grandes conjuntos de dados. A plataforma Apache Hadoop [White 2015], amplamente utilizada, é desenvolvida em Java e trabalha sobre dados armazenados em um sistema de arquivos distribuído, chamado de Hadoop Distributed File System (HDFS). A plataforma implementa o modelo de programação MapReduce, que permite operações paralelas sobre o conjunto de dados distribuídos. Dadas as contínuas demandas daárea, surgiram também ferramentas que podem ser utilizadas em conjunto ou paralelamente ao Hadoop, como Spark, Pig [Agneeswaran 2014].