Como criar e usar Delta Live Tables em Databricks: passo a passo
Este tutorial mostra como criar e usar Delta Live Tables em Databricks para construir um pipeline ETL/ELT declarativo com qualidade de dados e observabilidade. Aprender a usar Delta Live Tables é útil para automatizar transformações, gerir dependências entre tabelas e detetar problemas de qualidade mais cedo.
Pré-requisitos
- Conta Databricks com permissões para criar pipelines Delta Live Tables.
- Cluster com runtime que suporte Delta Live Tables (DBR compatível).
- Ficheiro de origem CSV ou Parquet no DBFS ou numa storage ligada.
- Noções básicas de SQL e Python/PySpark.
Passo 1: Preparar dados de origem no DBFS
Coloque um ficheiro de exemplo (por exemplo orders.csv) no DBFS para testar. Isto facilita a ingestão inicial antes de ligar a fontes externas.
# Exemplo para correr num notebook Databricks (Python)
dbutils.fs.mkdirs('/tmp/dlt_demo')
orders_csv = '''order_id,customer_id,amount,order_date
1,100,49.99,2023-10-01
2,101,19.50,2023-10-02
3,100,5.00,2023-10-02
4,103,,2023-10-03
'''
with open('/dbfs/tmp/dlt_demo/orders.csv','w') as f:
f.write(orders_csv)
print('Ficheiro de teste criado em /tmp/dlt_demo/orders.csv')
Passo 2: Criar um pipeline Delta Live Tables declarativo
Delta Live Tables usa scripts em Python ou SQL para definir fontes, transformações e tabelas com regras de qualidade. Crie um novo pipeline na UI e escolha um notebook ou script como origem. Abaixo há um exemplo mínimo em Python usando a biblioteca dlt.
# Exemplo de notebook Python para Delta Live Tables
import dlt
from pyspark.sql.functions import col, to_timestamp
@dlt.table(
name='raw_orders',
comment='Dados brutos importados do CSV'
)
def raw_orders():
return (
spark.read.option('header','true')
.option('inferSchema','true')
.csv('/tmp/dlt_demo/orders.csv')
)
@dlt.table(name='clean_orders', comment='Orders limpos e validados')
@dlt.expect_or_drop('valid_amount', 'amount IS NOT NULL AND amount >= 0')
def clean_orders():
df = dlt.read('raw_orders')
return (
df.withColumn('order_date', to_timestamp(col('order_date')))
.withColumn('amount', col('amount').cast('double'))
)
@dlt.view(name='orders_agg')
def orders_agg():
return (
dlt.read('clean_orders')
.groupBy('customer_id')
.agg({'amount':'sum'})
)
Passo 3: Configurar o pipeline na UI e executar
No workspace Databricks crie um novo Delta Live Tables pipeline: selecione o notebook/script, defina as definições do cluster/pipeline e configure o esquema de destino. Habilite monitorização e escolha entre modo de execução Development ou Production.
# Pseudopasso: na UI Databricks
# 1. Workspace > Delta Live Tables > Create pipeline
# 2. Source: seleccionar notebook com código dlt
# 3. Target schema: ex. dlt_demo
# 4. Runtime mode: Development (testes) / Production
# 5. Start pipeline
Passo 4: Adicionar regras de qualidade e tratamento de erros
Use @dlt.expect, @dlt.expect_or_drop ou @dlt.expect_all para validar dados. Isto ajuda a detetar e registar problemas (ex.: valores nulos, formatos inválidos) sem interromper o pipeline.
@dlt.table(name='clean_orders')
@dlt.expect('non_null_customer', 'customer_id IS NOT NULL')
@dlt.expect_or_drop('valid_amount', 'amount IS NOT NULL AND amount >= 0')
def clean_orders():
df = dlt.read('raw_orders')
return df.withColumn('amount', col('amount').cast('double'))
Passo 5: Monitorizar e depurar o pipeline
Use a UI de Delta Live Tables para ver o DAG de dependências, métricas de integridade (expectations), taxa de ingestão e registos de erro. Para depurar, examine os registos do pipeline e os resultados das expectations.
# No notebook pode também consultar tabelas criadas
spark.sql('SELECT * FROM dlt_demo.clean_orders').show()
# Verificar estatísticas de expectations na UI -> Expectations
Verificar o resultado
Confirme que as tabelas definidas aparecem no esquema alvo (ex.: dlt_demo.raw_orders, dlt_demo.clean_orders) e que os dados foram transformados conforme as regras. Verifique o painel de Expectations para ver quantas linhas passaram/foram rejeitadas e corrija o código se necessário.
Conclusão
Agora já sabe criar um pipeline básico com Delta Live Tables em Databricks, aplicar validações e monitorizar a execução. Próximos passos: ligar fontes em streaming, usar Auto Loader para ingestão contínua e calibrar regras de qualidade. Dica: comece em modo Development e optimise as expectations antes de passar para Production — que regra de qualidade é mais crítica para os seus dados?