Data-Intensive Workflow Management

by Daniel Oliveira, Ji Liu, Esther Pacitti

Workflows may be defined as abstractions used to model the coherent flow of activities in the context of an in silico scientific experiment. They are employed in many domains of science such as bioinformatics, astronomy, and engineering. Such workflows usually present a considerable number of activities and activations (i.e., tasks associated with activities) and may need a long time for execution. Due to the continuous need to store and process data efficiently (making them data-intensive workflows), high-performance computing environments allied to parallelization techniques are used to run these workflows. At the beginning of the 2010s, cloud technologies emerged as a promising environment to run scientific workflows. By using clouds, scientists have expanded beyond single parallel computers to hundreds or even thousands of virtual machines. More recently, Data-Intensive Scalable Computing (DISC) frameworks (e.g., Apache Spark and Hadoop) and environments emerged and are being used to execute data-intensive workflows. DISC environments are composed of processors and disks in large-commodity computing clusters connected using high-speed communications switches and networks. The main advantage of DISC frameworks is that they support and grant efficient in-memory data management for large-scale applications, such as data-intensive workflows. However, the execution of workflows in cloud and DISC environments raise many challenges such as scheduling workflow activities and activations, managing produced data, collecting provenance data, etc. Several existing approaches deal with the challenges mentioned earlier. This way, there is a real need for understanding how to manage these workflows and various big data platforms that have been developed and introduced. As such, this book can help researchers understand how linking workflow management with Data-Intensive Scalable Computing can help in understanding and analyzing scientific big data. In this book, we aim to identify and distill the body of work on workflow management in clouds and DISC environments. We start by discussing the basic principles of data-intensive scientific workflows. Next, we present two workflows that are executed in a single site and multi-site clouds taking advantage of provenance. Afterward, we go towards workflow management in DISC environments, and we present, in detail, solutions that enable the optimized execution of the workflow using frameworks such as Apache Spark and its extensions.

180 pages, Paperback

Published May 13, 2019

About the author

Filho natural do poeta Herberto Hélder e de Isabel Figueiredo. De acordo com o próprio, a família materna teve vários apoiantes e militantes do Partido Comunista Português, mãe incluída.

Estudou no Liceu Pedro Nunes e no ISCTE - Instituto Universitário de Lisboa. Como jornalista, trabalhou n'O Século (1988-1989), no Diário de Lisboa (1989-1990), nas revistas Já (1997) e Vida Mundial (1998-1999), nos programas de reportagem da RTP Juízo Final (2000) e Loja do Cidadão (RTP) (2001) - tendo sido editor deste último -, no Diário Económico (2000) e no programa da RTP Todos Iguais (2001). Foi autor do programa Trabalho, da RTP, também em 2001. Venceu o prémio revelação Gazeta, do Clube de Jornalistas, em 1998 com uma reportagem sobre a Primavera de Praga, publicada na revista Vida Mundial. Foi publicitário de 1993 a 1994.

Entrou para o PCP em 1983 tendo saído em 1989.

Fundou, em 1991, com Joaquim Pina Moura, José Barros Moura, José Luís Judas, Miguel Portas e Ivan Nunes a Plataforma de Esquerda, de que foi dirigente e que viria a abandonar quando esta fez um acordo autárquico nacional com o Partido Socialista.

Funda, em 1994, com Miguel Portas, Ivan Nunes, Paulo Varela Gomes e ex-dirigentes do MDP/CDE, a Política XXI, que se juntaria ao PSR e à UDP, em 1998, para criar o Bloco de Esquerda. Foi assessor de Imprensa do Bloco de Esquerda de 2002 a 2005, tendo abandonado funções políticas profissionais em Fevereiro de 2005. Foi membro da Mesa Nacional e da Comissão Política do Bloco de Esquerda até 2006. Abandonou a militância do Bloco de Esquerda, de que foi um dos fundadores, em 2013, sendo hoje independente.

Daniel Oliveira é autor e fundador (com Rui Tavares, André Belo, Celso Martins e Pedro Aires Oliveira) do Barnabé, um dos blogues que atingiram maior notoriedade na blogosfera portuguesa, escrevendo hoje no blogue Arrastão. É colunista dos jornais Expresso e Record, como adepto do Sporting Clube de Portugal, e participa no programa da SIC Notícias O Eixo do Mal (anteriormente apresentado e moderado por Nuno Artur Silva, sendo substituído em 8 de fevereiro de 2015 por Aurélio Gomes, com os comentadores Clara Ferreira Alves, Pedro Marques Lopes e Luís Pedro Nunes) e no programa do canal Q "Sem Moderação", com João Galamba, José Eduardo Martins e Francisco Mendes da Silva.

Um estudo realizado pela empresa de consultoria de comunicação Imago-Llorente & Cuenca, em parceria com a Universidade Católica Portuguesa, divulgado em março de 2015, colocou Daniel Oliveira em décimo quinto lugar na lista dos políticos portugueses mais influentes na rede social Twitter, numa lista liderada pelo líder do partido político LIVRE, Rui Tavares. (in Wikipedia)