Cómo crear y usar Delta Live Tables en Databricks: paso a paso
Este tutorial muestra cómo crear y usar Delta Live Tables en Databricks para construir un pipeline ETL/ELT declarativo con calidad de datos y observabilidad. Aprender a usar Delta Live Tables es útil para automatizar transformaciones, gestionar dependencias entre tablas y detectar problemas de calidad más pronto.
Prerequisitos
- Cuenta Databricks con permisos para crear pipelines Delta Live Tables.
- Cluster con runtime que soporte Delta Live Tables (DBR compatible).
- Fichero de origen CSV o Parquet en el DBFS o en un storage conectado.
- Noociones básicas de SQL y Python/PySpark.
Paso 1: Preparar datos de origen en el DBFS
Coloque un fichero de ejemplo (por ejemplo orders.csv) en el DBFS para probar. Esto facilita la ingestión inicial antes de conectar fuentes externas.
# Exemplo para correr num notebook Databricks (Python)
dbutils.fs.mkdirs('/tmp/dlt_demo')
orders_csv = '''order_id,customer_id,amount,order_date
1,100,49.99,2023-10-01
2,101,19.50,2023-10-02
3,100,5.00,2023-10-02
4,103,,2023-10-03
'''
with open('/dbfs/tmp/dlt_demo/orders.csv','w') as f:
f.write(orders_csv)
print('Ficheiro de teste criado em /tmp/dlt_demo/orders.csv')
Paso 2: Crear un pipeline Delta Live Tables declarativo
Delta Live Tables usa scripts en Python o SQL para definir fuentes, transformaciones y tablas con reglas de calidad. Cree un nuevo pipeline en la UI y elija un notebook o script como origen. A continuación hay un ejemplo mínimo en Python usando la biblioteca dlt.
# Exemplo de notebook Python para Delta Live Tables
import dlt
from pyspark.sql.functions import col, to_timestamp
@dlt.table(
name='raw_orders',
comment='Dados brutos importados do CSV'
)
def raw_orders():
return (
spark.read.option('header','true')
.option('inferSchema','true')
.csv('/tmp/dlt_demo/orders.csv')
)
@dlt.table(name='clean_orders', comment='Orders limpos e validados')
@dlt.expect_or_drop('valid_amount', 'amount IS NOT NULL AND amount >= 0')
def clean_orders():
df = dlt.read('raw_orders')
return (
df.withColumn('order_date', to_timestamp(col('order_date')))
.withColumn('amount', col('amount').cast('double'))
)
@dlt.view(name='orders_agg')
def orders_agg():
return (
dlt.read('clean_orders')
.groupBy('customer_id')
.agg({'amount':'sum'})
)
Paso 3: Configurar el pipeline en la UI y ejecutar
En el workspace Databricks cree un nuevo Delta Live Tables pipeline: seleccione el notebook/script, defina los ajustes del cluster/pipeline y configure el esquema de destino. Habilite monitorización y elija entre modo de ejecución Development o Production.
# Pseudopasso: na UI Databricks
# 1. Workspace > Delta Live Tables > Create pipeline
# 2. Source: seleccionar notebook com código dlt
# 3. Target schema: ex. dlt_demo
# 4. Runtime mode: Development (testes) / Production
# 5. Start pipeline
Paso 4: Añadir reglas de calidad y tratamiento de errores
Use @dlt.expect, @dlt.expect_or_drop o @dlt.expect_all para validar datos. Esto ayuda a detectar y registrar problemas (ej.: valores nulos, formatos inválidos) sin interrumpir el pipeline.
@dlt.table(name='clean_orders')
@dlt.expect('non_null_customer', 'customer_id IS NOT NULL')
@dlt.expect_or_drop('valid_amount', 'amount IS NOT NULL AND amount >= 0')
def clean_orders():
df = dlt.read('raw_orders')
return df.withColumn('amount', col('amount').cast('double'))
Paso 5: Monitorizar y depurar el pipeline
Use la UI de Delta Live Tables para ver el DAG de dependencias, métricas de integridad (expectations), tasa de ingestión y registros de error. Para depurar, examine los registros del pipeline y los resultados de las expectations.
# No notebook pode também consultar tabelas criadas
spark.sql('SELECT * FROM dlt_demo.clean_orders').show()
# Verificar estatísticas de expectations na UI -> Expectations
Verificar el resultado
Confirme que las tablas definidas aparecen en el esquema destino (ej.: dlt_demo.raw_orders, dlt_demo.clean_orders) y que los datos han sido transformados conforme a las reglas. Revise el panel de Expectations para ver cuántas filas pasaron/fueron rechazadas y corrija el código si es necesario.
Conclusión
Ahora ya sabe crear un pipeline básico con Delta Live Tables en Databricks, aplicar validaciones y monitorizar la ejecución. Próximos pasos: conectar fuentes en streaming, usar Auto Loader para ingesta continua y calibrar reglas de calidad. Consejo: empiece en modo Development y optimice las expectations antes de pasar a Production — ¿qué regla de calidad es más crítica para sus datos?