Existem diversas formas de se orquestrar um pipeline de dados. Uma das menos óbvias seja usar o Jenkins para isso, dado que sua função mais conhecida é a de orquestrar deploys de software.
Porém, com os plugins corretos, é possível construir um data pipeline robusto e de fácil gerenciamento, dado que quase tudo pode ser feito via interface gráfica na web.
Tive o prazer de fazer uma palestra no SPIN Campinas sobre este assunto, o tema do encontro era DevOps.
O nome da palestra é: “Automação de infraestrutura utilizando o Jenkins”.
Link para os slides: http://pt.slideshare.net/FelipeSantos292/automatizao-de-infraestrutura-com-jenkins
