O encanamento que ninguém vê
Todo painel bonito esconde um trabalho invisível: buscar dados em vários sistemas, limpar, cruzar e entregar — todos os dias, sem falhar. Isso é engenharia de dados. Quando é bem feita, ninguém percebe que ela existe; quando falha, a diretoria descobre na segunda-feira que o painel está mostrando números de quinta.
Desenhar ou programar? As duas escolas
Há dois jeitos de construir um pipeline. Na escola visual, você desenha o fluxo numa interface gráfica — cada caixinha é um passo, cada seta é o caminho do dado — e a ferramenta guarda esse desenho como metadados que vão para o Git como qualquer código. Na escola do código, você programa o fluxo em Python. O resultado precisa ser o mesmo: um processo versionado, agendado, monitorado e que avisa quando algo dá errado.
Nenhuma escola é "melhor" — a escolha depende da sua equipe, do volume e de quem vai manter o pipeline daqui a dois anos:
| Abordagem | Ferramentas | Quando faz mais sentido |
|---|---|---|
| Visual (low-code) | Apache Hop · Pentaho PDI | Integrações e migrações mantidas por equipe enxuta — o desenho do fluxo é a própria documentação |
| Código | Python · Airflow | Equipe de engenharia dedicada, lógica muito específica, testes automatizados linha a linha |
| Escala distribuída | Apache Spark · Beam | Volume que não cabe em uma máquina — o Hop desenha, o cluster executa |
| Gerenciada (nuvem) | AWS Glue · Data Fusion · Data Factory | Tudo já mora numa nuvem e a conta fecha — os conceitos são exatamente os mesmos |
Do Kettle ao Apache Hop — acompanhamos essa história desde o início
Trabalhamos com o Pentaho Data Integration há mais de uma década — foi com ele que escrevemos a matéria de capa da SQL Magazine sobre migração de dados, e foi essa estrada que nos levou a ministrar minicurso no Pentaho Day 2017, em Curitiba, onde conhecemos pessoalmente o criador do Kettle. Quando a plataforma evoluiu para o Apache Hop, projeto criado pelo mesmo autor do Kettle/PDI, seguimos junto: metadados leves que se versionam no Git, execução nativa em contêineres e a opção de delegar o processamento pesado a um cluster Apache Spark ou Beam sem redesenhar o fluxo. E as ferramentas gerenciadas das nuvens são variações dessas mesmas ideias — quem domina o conceito transita entre elas sem susto.
Isso também protege o que você já tem: fluxos PDI legados são reaproveitados na migração para o Hop, em vez de reescritos do zero.
E se a casa for toda Microsoft?
Em boa parte do varejo, dos sistemas corporativos e do setor público brasileiro — prefeituras e e-gov em geral — o padrão é o ecossistema Microsoft: SQL Server nos bancos, Azure Data Factory (e o Microsoft Fabric) nos pipelines e Azure DevOps na esteira. Trabalhamos bem nesse mundo: pipelines versionados no Azure Repos, com build, teste e implantação automatizados pelo Azure DevOps Pipelines — a mesma disciplina de CI/CD que aplicamos ao Hop e ao Python, só que com as ferramentas da casa. E quando convém misturar, o Apache Hop conversa com SQL Server e roda em contêiner no Azure sem drama.
Quando nos chamar
Quando os relatórios dependem de alguém rodar planilha na mão; quando cada sistema conta uma versão diferente do mesmo número; quando o "pipeline" é um script que só um funcionário entende — ou quando ele já falhou e ninguém percebeu a tempo. Também assumimos e modernizamos pipelines existentes, inclusive os que outros fizeram.
O que você recebe
- Pipelines com metadados versionados no Git — nada de lógica presa em telas
- Agendamento, monitoramento e alerta de falha — você fica sabendo antes da diretoria
- Validação entre origem e destino: contagens e somas conferidas a cada carga
- Escolha de ferramenta justificada por escrito — visual, código ou nuvem
- Reaproveitamento do que existe: fluxos PDI legados migram para o Apache Hop
- Documentação e treinamento para a sua equipe assumir sem dependência
