(+351) 21 24 10006  ·  info@bconcepts.pt
Carnaxide, Lisboa

Como criar e usar Delta Live Tables em Databricks: passo a passo

João Barros 01 de November de 2026 4 min de leitura

Este tutorial mostra como criar e usar Delta Live Tables em Databricks para construir um pipeline ETL/ELT declarativo com qualidade de dados e observabilidade. Aprender a usar Delta Live Tables é útil para automatizar transformações, gerir dependências entre tabelas e detetar problemas de qualidade mais cedo.

Pré-requisitos

  • Conta Databricks com permissões para criar pipelines Delta Live Tables.
  • Cluster com runtime que suporte Delta Live Tables (DBR compatível).
  • Ficheiro de origem CSV ou Parquet no DBFS ou numa storage ligada.
  • Noções básicas de SQL e Python/PySpark.

Passo 1: Preparar dados de origem no DBFS

Coloque um ficheiro de exemplo (por exemplo orders.csv) no DBFS para testar. Isto facilita a ingestão inicial antes de ligar a fontes externas.

# Exemplo para correr num notebook Databricks (Python)
dbutils.fs.mkdirs('/tmp/dlt_demo')
orders_csv = '''order_id,customer_id,amount,order_date
1,100,49.99,2023-10-01
2,101,19.50,2023-10-02
3,100,5.00,2023-10-02
4,103,,2023-10-03
'''
with open('/dbfs/tmp/dlt_demo/orders.csv','w') as f:
    f.write(orders_csv)
print('Ficheiro de teste criado em /tmp/dlt_demo/orders.csv')

Passo 2: Criar um pipeline Delta Live Tables declarativo

Delta Live Tables usa scripts em Python ou SQL para definir fontes, transformações e tabelas com regras de qualidade. Crie um novo pipeline na UI e escolha um notebook ou script como origem. Abaixo há um exemplo mínimo em Python usando a biblioteca dlt.

# Exemplo de notebook Python para Delta Live Tables
import dlt
from pyspark.sql.functions import col, to_timestamp

@dlt.table(
    name='raw_orders',
    comment='Dados brutos importados do CSV'
)
def raw_orders():
    return (
        spark.read.option('header','true')
             .option('inferSchema','true')
             .csv('/tmp/dlt_demo/orders.csv')
    )

@dlt.table(name='clean_orders', comment='Orders limpos e validados')
@dlt.expect_or_drop('valid_amount', 'amount IS NOT NULL AND amount >= 0')
def clean_orders():
    df = dlt.read('raw_orders')
    return (
        df.withColumn('order_date', to_timestamp(col('order_date')))
          .withColumn('amount', col('amount').cast('double'))
    )

@dlt.view(name='orders_agg')
def orders_agg():
    return (
        dlt.read('clean_orders')
           .groupBy('customer_id')
           .agg({'amount':'sum'})
    )

Passo 3: Configurar o pipeline na UI e executar

No workspace Databricks crie um novo Delta Live Tables pipeline: selecione o notebook/script, defina as definições do cluster/pipeline e configure o esquema de destino. Habilite monitorização e escolha entre modo de execução Development ou Production.

# Pseudopasso: na UI Databricks
# 1. Workspace > Delta Live Tables > Create pipeline
# 2. Source: seleccionar notebook com código dlt
# 3. Target schema: ex. dlt_demo
# 4. Runtime mode: Development (testes) / Production
# 5. Start pipeline

Passo 4: Adicionar regras de qualidade e tratamento de erros

Use @dlt.expect, @dlt.expect_or_drop ou @dlt.expect_all para validar dados. Isto ajuda a detetar e registar problemas (ex.: valores nulos, formatos inválidos) sem interromper o pipeline.

@dlt.table(name='clean_orders')
@dlt.expect('non_null_customer', 'customer_id IS NOT NULL')
@dlt.expect_or_drop('valid_amount', 'amount IS NOT NULL AND amount >= 0')
def clean_orders():
    df = dlt.read('raw_orders')
    return df.withColumn('amount', col('amount').cast('double'))

Passo 5: Monitorizar e depurar o pipeline

Use a UI de Delta Live Tables para ver o DAG de dependências, métricas de integridade (expectations), taxa de ingestão e registos de erro. Para depurar, examine os registos do pipeline e os resultados das expectations.

# No notebook pode também consultar tabelas criadas
spark.sql('SELECT * FROM dlt_demo.clean_orders').show()
# Verificar estatísticas de expectations na UI -> Expectations

Verificar o resultado

Confirme que as tabelas definidas aparecem no esquema alvo (ex.: dlt_demo.raw_orders, dlt_demo.clean_orders) e que os dados foram transformados conforme as regras. Verifique o painel de Expectations para ver quantas linhas passaram/foram rejeitadas e corrija o código se necessário.

Conclusão

Agora já sabe criar um pipeline básico com Delta Live Tables em Databricks, aplicar validações e monitorizar a execução. Próximos passos: ligar fontes em streaming, usar Auto Loader para ingestão contínua e calibrar regras de qualidade. Dica: comece em modo Development e optimise as expectations antes de passar para Production — que regra de qualidade é mais crítica para os seus dados?