Pipelines no Data Factory do Fabric: orquestração de dados sem código

O Data Factory no Microsoft Fabric é a solução de integração de dados — equivalente ao Azure Data Factory mas nativo no Fabric. Permite criar pipelines visuais para mover, transformar e orquestrar dados entre fontes.

Criar o primeiro pipeline

No workspace do Fabric, seleccione New → Data pipeline. O canvas visual apresenta actividades que pode arrastar e ligar:

• Copy Data — copiar dados entre fontes (SQL, REST, Blob, etc.) e destinos (Lakehouse, Warehouse).
• Notebook — executar um notebook Spark como parte do pipeline.
• Stored Procedure — invocar um SP num Warehouse.
• If Condition / Until / ForEach — lógica de controlo de fluxo.

Exemplo: ingestão incremental

Pipeline: Ingestão_Incremental
1. Lookup → SELECT MAX(ultima_carga) FROM watermark_table
2. Copy Data (SQL → Lakehouse)
   Source: SELECT * FROM vendas WHERE updated_at > @{activity('Lookup').output.firstRow.ultima_carga}
   Sink: LH_Bronze/Tables/Vendas (Append)
3. Stored Procedure → UPDATE watermark_table SET ultima_carga = GETDATE()

Parametrização

Defina parâmetros no pipeline (ícone de engrenagem) e use-os em expressões com a sintaxe @pipeline().parameters.NomeParam. Isto permite reutilizar o mesmo pipeline para múltiplas tabelas.

Triggers

Os pipelines podem ser acionados por:

• Schedule — cron-like, com recorrência configurável.
• Event-based — quando um ficheiro chega ao OneLake/Blob Storage.
• Manual / API — via REST API para integração com sistemas externos.

Conclusão

Os pipelines do Data Factory no Fabric cobrem a grande maioria dos casos de ingestão e orquestração sem necessidade de código. Para transformações complexas, combine pipelines com notebooks Spark — o melhor dos dois mundos.