Synapse Pipelines vs Azure Data Factory: quando usar cada um

O Azure Synapse Analytics inclui um serviço de pipelines que é tecnicamente idêntico ao Azure Data Factory, mas integrado no workspace Synapse. A questão "ADF ou Synapse Pipelines?" não tem uma resposta única — depende da arquitectura.

Comparação directa

Característica              ADF                 Synapse Pipelines
─────────────────────────────────────────────────────────────────
Serviço independente        ✓ (standalone)      ✗ (requer Synapse WS)
Integration Runtimes        ✓ Azure/Self-hosted  ✓ Azure (limitado)
Trigger ADLS                ✓                   ✓
Trigger Event Grid          ✓                   ✓
Chamar notebook Databricks  ✓ (conector)         ✗ (indirecto)
Chamar notebook Synapse     Possível (HTTP)      ✓ (nativo)
Acesso a SQL Pool Synapse   ✓ (via LS)           ✓ (nativo)
Managed VNET                ✓                   ✓
Monitorização               Monitor + ADF UI     Synapse Studio
Custo separado              ✓                   Incluído no Synapse

Quando usar Synapse Pipelines

• Toda a stack de dados vive dentro do workspace Synapse.
• Orquestração de notebooks Spark e SQL Pools Synapse.
• Equipas que preferem uma única ferramenta (Synapse Studio).
• Custo: pipelines Synapse não têm custo adicional de execução.

Quando usar ADF

• Arquitectura multi-serviço (Databricks + Synapse + outros).
• Self-hosted Integration Runtime para fontes on-premises.
• Conectores específicos não disponíveis em Synapse Pipelines.
• Equipa já experiente e com pipelines ADF existentes.

Padrão híbrido

ADF → orquestração global e ingestão de fontes externas
      ↓
Synapse Pipelines → transformações internas ao workspace
      ↓
Synapse SQL/Spark → execução de processamento

Conclusão

Para novos projectos data-first no Synapse, comece com Synapse Pipelines — são gratuitos e integram nativamente. Se precisar de Self-hosted IR ou de orquestrar múltiplos serviços fora do Synapse, adicione ADF como camada de orquestração externa.