(+351) 21 24 10006  ·  info@bconcepts.pt
Carnaxide, Lisboa

Cómo crear y usar Delta Live Tables en Databricks: paso a paso

João Barros 01 de November de 2026 4 min de lectura

Este tutorial muestra cómo crear y usar Delta Live Tables en Databricks para construir un pipeline ETL/ELT declarativo con calidad de datos y observabilidad. Aprender a usar Delta Live Tables es útil para automatizar transformaciones, gestionar dependencias entre tablas y detectar problemas de calidad más pronto.

Prerequisitos

  • Cuenta Databricks con permisos para crear pipelines Delta Live Tables.
  • Cluster con runtime que soporte Delta Live Tables (DBR compatible).
  • Fichero de origen CSV o Parquet en el DBFS o en un storage conectado.
  • Noociones básicas de SQL y Python/PySpark.

Paso 1: Preparar datos de origen en el DBFS

Coloque un fichero de ejemplo (por ejemplo orders.csv) en el DBFS para probar. Esto facilita la ingestión inicial antes de conectar fuentes externas.

# Exemplo para correr num notebook Databricks (Python)
dbutils.fs.mkdirs('/tmp/dlt_demo')
orders_csv = '''order_id,customer_id,amount,order_date
1,100,49.99,2023-10-01
2,101,19.50,2023-10-02
3,100,5.00,2023-10-02
4,103,,2023-10-03
'''
with open('/dbfs/tmp/dlt_demo/orders.csv','w') as f:
    f.write(orders_csv)
print('Ficheiro de teste criado em /tmp/dlt_demo/orders.csv')

Paso 2: Crear un pipeline Delta Live Tables declarativo

Delta Live Tables usa scripts en Python o SQL para definir fuentes, transformaciones y tablas con reglas de calidad. Cree un nuevo pipeline en la UI y elija un notebook o script como origen. A continuación hay un ejemplo mínimo en Python usando la biblioteca dlt.

# Exemplo de notebook Python para Delta Live Tables
import dlt
from pyspark.sql.functions import col, to_timestamp

@dlt.table(
    name='raw_orders',
    comment='Dados brutos importados do CSV'
)
def raw_orders():
    return (
        spark.read.option('header','true')
             .option('inferSchema','true')
             .csv('/tmp/dlt_demo/orders.csv')
    )

@dlt.table(name='clean_orders', comment='Orders limpos e validados')
@dlt.expect_or_drop('valid_amount', 'amount IS NOT NULL AND amount >= 0')
def clean_orders():
    df = dlt.read('raw_orders')
    return (
        df.withColumn('order_date', to_timestamp(col('order_date')))
          .withColumn('amount', col('amount').cast('double'))
    )

@dlt.view(name='orders_agg')
def orders_agg():
    return (
        dlt.read('clean_orders')
           .groupBy('customer_id')
           .agg({'amount':'sum'})
    )

Paso 3: Configurar el pipeline en la UI y ejecutar

En el workspace Databricks cree un nuevo Delta Live Tables pipeline: seleccione el notebook/script, defina los ajustes del cluster/pipeline y configure el esquema de destino. Habilite monitorización y elija entre modo de ejecución Development o Production.

# Pseudopasso: na UI Databricks
# 1. Workspace > Delta Live Tables > Create pipeline
# 2. Source: seleccionar notebook com código dlt
# 3. Target schema: ex. dlt_demo
# 4. Runtime mode: Development (testes) / Production
# 5. Start pipeline

Paso 4: Añadir reglas de calidad y tratamiento de errores

Use @dlt.expect, @dlt.expect_or_drop o @dlt.expect_all para validar datos. Esto ayuda a detectar y registrar problemas (ej.: valores nulos, formatos inválidos) sin interrumpir el pipeline.

@dlt.table(name='clean_orders')
@dlt.expect('non_null_customer', 'customer_id IS NOT NULL')
@dlt.expect_or_drop('valid_amount', 'amount IS NOT NULL AND amount >= 0')
def clean_orders():
    df = dlt.read('raw_orders')
    return df.withColumn('amount', col('amount').cast('double'))

Paso 5: Monitorizar y depurar el pipeline

Use la UI de Delta Live Tables para ver el DAG de dependencias, métricas de integridad (expectations), tasa de ingestión y registros de error. Para depurar, examine los registros del pipeline y los resultados de las expectations.

# No notebook pode também consultar tabelas criadas
spark.sql('SELECT * FROM dlt_demo.clean_orders').show()
# Verificar estatísticas de expectations na UI -> Expectations

Verificar el resultado

Confirme que las tablas definidas aparecen en el esquema destino (ej.: dlt_demo.raw_orders, dlt_demo.clean_orders) y que los datos han sido transformados conforme a las reglas. Revise el panel de Expectations para ver cuántas filas pasaron/fueron rechazadas y corrija el código si es necesario.

Conclusión

Ahora ya sabe crear un pipeline básico con Delta Live Tables en Databricks, aplicar validaciones y monitorizar la ejecución. Próximos pasos: conectar fuentes en streaming, usar Auto Loader para ingesta continua y calibrar reglas de calidad. Consejo: empiece en modo Development y optimice las expectations antes de pasar a Production — ¿qué regla de calidad es más crítica para sus datos?