Como criar um Synapse Link entre OneLake e Dedicated SQL Pool em Azure Synapse Analytics
Este tutorial mostra como criar um Synapse Link entre OneLake (ou um Data Lake integrado) e um Dedicated SQL Pool em Azure Synapse Analytics para materializar dados analíticos. É útil quando queres consultar ficheiros do Data Lake com desempenho de SQL relacional sem processos ETL pesados.
Pré-requisitos
- Conta Azure com permissões para criar recursos (Synapse Workspace, Storage/OneLake, Dedicated SQL Pool).
- Azure Synapse Workspace já criado ou acesso para o criar.
- Ficheiros Parquet ou CSV num contentor do OneLake/Azure Data Lake Storage Gen2.
- Familiaridade básica com T-SQL e portal Azure.
Passo 1: Confirmar ficheiros e esquema no Data Lake
Verifica no OneLake/Azure Data Lake que tens um conjunto de ficheiros (por exemplo Parquet) com esquema consistente. Isto evita erros ao criar a tabela externa ou ao sincronizar dados com Synapse Link.
# Exemplo: listar ficheiros com Azure CLI
az storage fs file list \
--account-name \
--file-system \
--path --output table
Passo 2: Configurar credenciais e Linked Service no Synapse
Cria um Linked Service no Synapse Workspace que aponte para o OneLake/ADLS Gen2 com um Service Principal ou Managed Identity. Isto permite que o Synapse aceda aos ficheiros para materializar dados no Dedicated SQL Pool.
-- Exemplo conceptual (no portal: Manage > Linked services)
Provider: Azure Data Lake Storage Gen2
Authentication: Managed Identity or Service Principal
Account name:
Container:
Passo 3: Criar uma External Data Source e External File Format
No Synapse SQL (Dedicated SQL Pool) cria uma EXTERNAL DATA SOURCE e EXTERNAL FILE FORMAT para apontar para os ficheiros Parquet/CSV. Isto é a base para criar External Tables ou usar Synapse Link.
-- Conectar ao Dedicated SQL Pool e executar:
CREATE EXTERNAL DATA SOURCE MyLakeSource
WITH (
TYPE = HADOOP,
LOCATION = 'abfss://@.dfs.core.windows.net/'
);
CREATE EXTERNAL FILE FORMAT ParquetFormat
WITH (
FORMAT_TYPE = PARQUET
);
Passo 4: Criar uma External Table ou usar Synapse Link para materializar
Opção A: criar External Table para consultar dados no Data Lake (não materializa). Opção B: usar Synapse Link/CTAS para materializar dados no Dedicated SQL Pool (melhor desempenho para queries analíticas).
-- Opção A: External Table (consulta directa ao Data Lake)
CREATE EXTERNAL TABLE ext_sales (
saleId BIGINT,
amount FLOAT,
saleDate DATE
)
WITH (
LOCATION = '/sales/parquet/',
DATA_SOURCE = MyLakeSource,
FILE_FORMAT = ParquetFormat
);
-- Opção B: Materializar dados com CTAS para uma tabela no Dedicated SQL Pool
CREATE TABLE dbo.sales_materialized
WITH ( DISTRIBUTION = HASH(saleId), HEAP )
AS
SELECT * FROM ext_sales;
Passo 5: Automatizar actualizações incrementais (opcional)
Para manter a tabela materializada actualizada, usa um pipeline no Synapse Pipelines: lê apenas os ficheiros novos/modificados ou usa carimbo de tempo na origem e aplica MERGE no Dedicated SQL Pool.
-- Exemplo simplificado de MERGE para incremental
MERGE dbo.sales_materialized AS target
USING (SELECT * FROM ext_sales WHERE saleDate >= '2026-01-01') AS src
ON target.saleId = src.saleId
WHEN MATCHED THEN UPDATE SET target.amount = src.amount
WHEN NOT MATCHED THEN INSERT (saleId, amount, saleDate) VALUES (src.saleId, src.amount, src.saleDate);
Verificar o resultado
Confirma que a External Table lê ficheiros e que a tabela materializada contém dados. Executa queries simples e verifica tempos de resposta; valida contagens e amostras de dados para garantir integridade.
-- Verificar External Table
SELECT TOP 10 * FROM ext_sales;
SELECT COUNT(*) FROM ext_sales;
-- Verificar tabela materializada
SELECT TOP 10 * FROM dbo.sales_materialized;
SELECT COUNT(*) FROM dbo.sales_materialized;
Conclusão
Ao ligar OneLake/ADLS Gen2 ao Dedicated SQL Pool via External Tables e Synapse Link (ou CTAS) consegues consultas com melhor desempenho sem complexos ETL. Próximos passos: automatizar pipelines para cargas incrementais, ajustar distribuição/partitioning e medir custos. Dica: testa com conjuntos pequenos antes de materializar volumes grandes para escolher a melhor estratégia.