Cómo crear una Delta Live Table en Lakehouse en Microsoft Fabric
Este tutorial muestra cómo crear una Delta Live Table en Lakehouse en Microsoft Fabric para transformar y validar datos de forma repetible y con versionado. Una Delta Live Table facilita pipelines de ETL/ELT con reglas de calidad, detección de errores comunes e integración con el Power BI. Vamos a explicar el porqué de cada paso y dar ejemplos concretos que puede adaptar a su escenario — por ejemplo, transformar archivos CSV de 10k–100k filas con latencia de ingestión de pocos minutos.
Prerequisitos
- Cuenta con acceso a Microsoft Fabric y permisos para crear Lakehouse y Notebooks/Jobs. Típicamente necesita permisos de Owner o Contributor en el Workspace.
- Un Lakehouse existente en OneLake o permiso para crear un nuevo Lakehouse. Ej.: un Lakehouse con 50 GB puede ser suficiente para entornos de prueba.
- Fuente de datos simple: CSV o tabla en Warehouse accesible. Para este ejemplo usamos un CSV con ~20.000 filas de clientes.
- Noiones básicas de Spark SQL y PySpark (nivel introductorio). Conocimientos de la DataFrame API ayudan a seguir el código.
Paso 1: Planificar la Delta Live Table
Antes de escribir código, decida las transformaciones y las reglas de calidad (ej.: eliminar duplicados, validar emails mediante expresión regular simple, convertir fechas al tipo DATE). Defina umbrales: por ejemplo, rechazar lotes en los que >5% de los emails sean inválidos, o guardar registros inválidos para análisis. Elija el nombre de la Delta Table de destino (ej.: lakehouse.customers) y la carpeta en el Lakehouse donde se guardarán los archivos Delta (ej.: /lakehouse/delta/customers). Planifique también la política de retención y el checkpointing — p. ej., mantener 30 días de historial de versiones Delta si necesita rollback.
Paso 2: Crear un Notebook para la pipeline
Creé un Notebook en el Workspace de Fabric que ejecutará las transformaciones. Usaremos PySpark para claridad y reproducibilidad. El Notebook lee la fuente, aplica transformaciones y escribe en una Delta Table en el Lakehouse. Para un archivo CSV de 20k filas, una configuración de clúster con 2–4 nodos puede ser suficiente; para volúmenes mayores ajuste la configuración.
# Exemplo PySpark simplificado para Delta Live Table
from pyspark.sql.functions import col, to_date, lower
# Ler CSV no OneLake (caminho do Lakehouse)
input_path = 'abfss://datalake@youraccount.dfs.core.windows.net/raw/customers.csv'
df = spark.read.option('header', True).csv(input_path)
# Limpeza básica e validação simples
df_clean = (df
.withColumn('email', lower(col('email')))
.withColumn('signup_date', to_date(col('signup_date'), 'yyyy-MM-dd'))
.dropDuplicates(['customer_id'])
)
# Filtrar registos sem email
df_valid = df_clean.filter(col('email').isNotNull())
# Escrever para Delta no Lakehouse (pasta do Lakehouse)
delta_path = 'abfss://datalake@youraccount.dfs.core.windows.net/lakehouse/delta/customers'
df_valid.write.format('delta').mode('overwrite').save(delta_path)
Nota: podemos añadir schema enforcement para evitar que columnas inesperadas provoquen fallos, y usar el modo 'append' en pipelines incrementales con checkpointing para evitar pérdida de datos.
Paso 3: Registrar la Delta Table en el Lakehouse
Después de escribir los archivos Delta, registre la Delta Table para consulta vía Warehouse/Spark SQL y Power BI. Esto crea una tabla nombrada apuntando al camino Delta. Registrar la tabla permite que herramientas como Power BI o endpoints SQL consulten directamente la versión más reciente sin conocer la ruta física.
-- Exemplo T-SQL/SQL no Notebook ou Warehouse
CREATE TABLE IF NOT EXISTS lakehouse.customers
USING DELTA
LOCATION 'abfss://datalake@youraccount.dfs.core.windows.net/lakehouse/delta/customers';
Después de creada, ejecute una query de muestra y verifique los metadatos (ej.: información sobre versiones Delta) para garantizar que la tabla apunta correctamente.
Paso 4: Añadir reglas de calidad y logging
Mejore la pipeline añadiendo checks: conteos totales, porcentaje de nulos por columna, verificación de emails válidos. Registre resultados en un archivo de auditoría o en una tabla de monitorización. Por ejemplo, para cada ejecución guarde: timestamp, total, válidos, inválidos, porcentaje inválido. Configure alertas si el porcentaje inválido excede el 5%.
# Exemplo simples de validação e logging
total = df.count()
valid = df_valid.count()
invalid = total - valid
audit = spark.createDataFrame([(total, valid, invalid)], ['total', 'valid', 'invalid'])
audit.write.mode('append').parquet('abfss://datalake@youraccount.dfs.core.windows.net/lakehouse/audit/customers_audit')
Guarde también muestras de los registros inválidos para diagnóstico; por ejemplo, limite a 1000 registros por ejecución para evitar crecimiento descontrolado.
Paso 5: Programar la ejecución como Job
Convierta el Notebook en un Job en Fabric (Spark Job/Notebook Job) con schedule para ejecución periódica o disparada por evento. En el Job defina recursos (ej.: driver 4 cores, 16 GB; 2 workers) y alertas en caso de fallo. Un ejemplo práctico: schedule diario a las 02:00 para procesamiento batch, o disparo en near real-time con eventos cuando llega un nuevo archivo, reduciendo la latencia a minutos.
# No UI do Fabric: New -> Job -> Notebook Job
# Selecionar Notebook, configurar cluster e schedule (ex.: diariamente às 02:00)
Verificar el resultado
Confirme que los archivos Delta existen en la carpeta del Lakehouse y que la tabla fue creada y contiene datos limpios. Pruebe consultas simples y ábralas en Power BI para validar la exploración. Ej.: ejecute SELECT COUNT(*) para validar el número de filas; compare con el audit para asegurar consistencia. Si detecta divergencias, use el historial de versiones del Delta para hacer rollback o reprocesar un lote específico.
-- Verificar número de linhas
SELECT COUNT(*) FROM lakehouse.customers;
-- Verificar amostra de registos
SELECT * FROM lakehouse.customers LIMIT 10;
Conclusión
Ahora tiene una Delta Live Table básica en el Lakehouse de Microsoft Fabric que aplica transformaciones y validaciones, con logging y programación. Próximos pasos: añadir quality expectations avanzadas, integrar con Power BI para dashboards en near real-time, implementar control de schema evolution y optimizar el rendimiento (compaction, Z-Order) para tablas mayores. Consejo práctico: comience probando con archivos pequeños (1k–20k filas) y aumente progresivamente el clúster y la configuración conforme crezca el volumen de datos.