(+351) 21 24 10006  ·  info@bconcepts.pt
Carnaxide, Lisboa

Como criar uma Delta Live Table em Lakehouse no Microsoft Fabric

João Barros 17 de November de 2026 6 min de leitura

Este tutorial mostra como criar uma Delta Live Table em Lakehouse no Microsoft Fabric para transformar e validar dados de forma repetível e com versionamento. Uma Delta Live Table facilita pipelines de ETL/ELT com regras de qualidade, deteção de erros comuns e integração com o Power BI. Vamos explicar o porquê de cada passo e dar exemplos concretos que pode adaptar ao seu cenário — por exemplo, transformar ficheiros CSV de 10k–100k linhas com latência de ingestão de poucos minutos.

Pré-requisitos

  • Conta com acesso ao Microsoft Fabric e permissões para criar Lakehouse e Notebooks/Jobs. Tipicamente precisa de permissões de Owner ou Contributor no Workspace.
  • Um Lakehouse existente no OneLake ou permissão para criar um novo Lakehouse. Ex.: um Lakehouse com 50 GB pode ser suficiente para ambientes de teste.
  • Fonte de dados simples: CSV ou tabela em Warehouse acessível. Para este exemplo usamos um CSV com ~20.000 linhas de clientes.
  • Noções básicas de Spark SQL e PySpark (nível introdutório). Conhecimentos da DataFrame API ajudam a seguir o código.

Passo 1: Planear a Delta Live Table

Antes de escrever código, decida as transformações e as regras de qualidade (ex.: remover duplicados, validar emails através de expressão regular simples, converter datas para o tipo DATE). Defina thresholds: por exemplo, rejeitar lotes em que >5% dos emails sejam inválidos, ou guardar registos inválidos para análise. Escolha o nome da Delta Table de destino (ex.: lakehouse.customers) e a pasta no Lakehouse onde serão guardados os ficheiros Delta (ex.: /lakehouse/delta/customers). Planeie também a política de retenção e o checkpointing — por ex., manter 30 dias de histórico de versões Delta se precisar de rollback.

Passo 2: Criar um Notebook para a pipeline

Crie um Notebook no Workspace do Fabric que executará as transformações. Vamos usar PySpark para clareza e reprodutibilidade. O Notebook lê a fonte, aplica transformações e escreve para uma Delta Table no Lakehouse. Para um ficheiro CSV de 20k linhas, uma configuração de cluster com 2–4 nós pode ser suficiente; para volumes maiores ajuste a configuração.

# Exemplo PySpark simplificado para Delta Live Table
from pyspark.sql.functions import col, to_date, lower

# Ler CSV no OneLake (caminho do Lakehouse)
input_path = 'abfss://datalake@youraccount.dfs.core.windows.net/raw/customers.csv'
df = spark.read.option('header', True).csv(input_path)

# Limpeza básica e validação simples
df_clean = (df
    .withColumn('email', lower(col('email')))
    .withColumn('signup_date', to_date(col('signup_date'), 'yyyy-MM-dd'))
    .dropDuplicates(['customer_id'])
)

# Filtrar registos sem email
df_valid = df_clean.filter(col('email').isNotNull())

# Escrever para Delta no Lakehouse (pasta do Lakehouse)
delta_path = 'abfss://datalake@youraccount.dfs.core.windows.net/lakehouse/delta/customers'
df_valid.write.format('delta').mode('overwrite').save(delta_path)

Nota: podemos adicionar schema enforcement para evitar que colunas inesperadas causem falhas, e usar o modo 'append' em pipelines incrementais com checkpointing para evitar perda de dados.

Passo 3: Registar a Delta Table no Lakehouse

Depois de escrever os ficheiros Delta, registe a Delta Table para consulta via Warehouse/Spark SQL e Power BI. Isto cria uma tabela nomeada apontando para o caminho Delta. Registar a tabela permite que ferramentas como o Power BI ou endpoints SQL consultem diretamente a versão mais recente sem conhecer o caminho físico.

-- Exemplo T-SQL/SQL no Notebook ou Warehouse
CREATE TABLE IF NOT EXISTS lakehouse.customers
USING DELTA
LOCATION 'abfss://datalake@youraccount.dfs.core.windows.net/lakehouse/delta/customers';

Depois de criada, execute uma query de amostra e verifique os metadados (ex.: informação sobre versões Delta) para garantir que a tabela está apontada corretamente.

Passo 4: Adicionar regras de qualidade e logging

Melhore a pipeline adicionando checks: contagens totais, percentagem de nulos por coluna, verificação de emails válidos. Registe resultados num ficheiro de auditoria ou numa tabela de monitorização. Por exemplo, para cada execução guarde: timestamp, total, válidos, inválidos, percentagem inválida. Configure alertas se a percentagem inválida exceder 5%.

# Exemplo simples de validação e logging
total = df.count()
valid = df_valid.count()
invalid = total - valid

audit = spark.createDataFrame([(total, valid, invalid)], ['total', 'valid', 'invalid'])
audit.write.mode('append').parquet('abfss://datalake@youraccount.dfs.core.windows.net/lakehouse/audit/customers_audit')

Guarde também amostras dos registos inválidos para diagnóstico; por exemplo, limite a 1000 registos por execução para evitar crescimento descontrolado.

Passo 5: Agendar a execução como Job

Converta o Notebook numa Job no Fabric (Spark Job/Notebook Job) com schedule para execução periódica ou acionada por evento. No Job defina recursos (ex.: driver 4 cores, 16 GB; 2 workers) e alertas em caso de falha. Um exemplo prático: schedule diário às 02:00 para processamento batch, ou acionamento em near real-time com eventos quando um novo ficheiro chega, reduzindo a latência para minutos.

# No UI do Fabric: New -> Job -> Notebook Job
# Selecionar Notebook, configurar cluster e schedule (ex.: diariamente às 02:00)

Verificar o resultado

Confirme que os ficheiros Delta existem na pasta do Lakehouse e que a tabela foi criada e contém dados limpos. Teste consultas simples e abra no Power BI para validar a exploração. Ex.: execute SELECT COUNT(*) para validar o número de linhas; compare com o audit para garantir consistência. Se detetar divergências, use o histórico de versões do Delta para fazer rollback ou reprocessar um lote específico.

-- Verificar número de linhas
SELECT COUNT(*) FROM lakehouse.customers;

-- Verificar amostra de registos
SELECT * FROM lakehouse.customers LIMIT 10;

Conclusão

Agora tem uma Delta Live Table básica no Lakehouse do Microsoft Fabric que aplica transformações e validações, com logging e agendamento. Próximos passos: adicionar quality expectations avançadas, integrar com o Power BI para dashboards em near real-time, implementar controlo de schema evolution e optimizar o desempenho (compaction, Z-Order) para tabelas maiores. Dica prática: comece por testar com ficheiros pequenos (1k–20k linhas) e aumente progressivamente o cluster e a configuração conforme crescer o volume de dados.