Uma Proposta de Implementação de Álgebra de Workflows em Apache Spark no Apoio a Processos de Análise de Dados - Ferreira, João; Gaspar, Daniel; Monteiro, Bernardo; Cruz, Ana Beatriz; Porto, Fabio; Ogasawara, Eduardo (Anais do Brazilian e-Science Workshop (BreSci); 2017: Anais do XI Brazilian e-Science WorkshopDO - 10.5753/bresci.2017.9921, 2017)
A atividade típica de um Cientista de Dados envolve a implementação de diversos processos que caracterizam experimentos de análise de dados. Nestas análises há a necessidade de executar diversos códigos em diferentes linguagens de programação (Python, R, C, Java e Scala) em diferentes ambientes de processamento paralelo e distribuído. Dependendo da complexidade do processo e das inúmeras possibilidades para execução distribuída destas soluções, pode ser necessário gastar muito energia em diferentes implementações que afastam o Cientista de Dados do seu objetivo final, que é produzir conhecimento a partir dos grandes volumes de dados. Dentro deste contexto, este trabalho visa apoiar na solução de tal dificuldade ao propor a construção de um framework concebido a partir de uma abordagem algébrica que isola a modelagem do processo da dificuldade de executar, de modo otimizado, tais workflows. A proposta apresenta um workflow típico de Extract Transform Load (ETL) para realização de análise de dados e aponta para resultados promissores em termos de representação e potencial de abstração/isolamento do ambiente de execução.