Pipelines en Data Factory de Fabric: orquestación de datos sin código

João Barros 07 de May de 2025 2 min de lectura

Data Factory en Microsoft Fabric es la solución de integración de datos — equivalente a Azure Data Factory pero nativo en Fabric. Permite crear pipelines visuales para mover, transformar y orquestar datos entre fuentes.

Crear el primer pipeline

En el workspace de Fabric, seleccione New → Data pipeline. El canvas visual presenta actividades que puede arrastrar y conectar:

Copy Data — copiar datos entre fuentes (SQL, REST, Blob, etc.) y destinos (Lakehouse, Warehouse).
Notebook — ejecutar un notebook Spark como parte del pipeline.
Stored Procedure — invocar un SP en un Warehouse.
If Condition / Until / ForEach — lógica de control de flujo.

Ejemplo: ingesta incremental

Pipeline: Ingesta_Incremental
1. Lookup → SELECT MAX(ultima_carga) FROM watermark_table
2. Copy Data (SQL → Lakehouse)
   Source: SELECT * FROM ventas WHERE updated_at > @{activity('Lookup').output.firstRow.ultima_carga}
   Sink: LH_Bronze/Tables/Ventas (Append)
3. Stored Procedure → UPDATE watermark_table SET ultima_carga = GETDATE()

Parametrización

Defina parámetros en el pipeline (icono de engranaje) y úselos en expresiones con la sintaxis @pipeline().parameters.NombreParam. Esto permite reutilizar el mismo pipeline para múltiples tablas.

Triggers

Los pipelines pueden activarse por:

Schedule — tipo cron, con recurrencia configurable.
Event-based — cuando un archivo llega a OneLake/Blob Storage.
Manual / API — vía REST API para integración con sistemas externos.

Conclusión

Los pipelines de Data Factory en Fabric cubren la gran mayoría de los casos de ingesta y orquestación sin necesidad de código. Para transformaciones complejas, combine pipelines con notebooks Spark — lo mejor de los dos mundos.