DP-900: cómo comprender y usar Change Data Capture en Azure
Voy a enseñar la competencia: comprender y usar Change Data Capture (CDC) en soluciones de datos en Azure. CDC es importante en el examen DP-900 porque demuestra comprensión de ingestión incremental e integración entre sistemas — y, en la práctica, reduce latencia y coste al capturar solo los cambios.
Lo que necesitas saber
Change Data Capture (CDC) es una técnica para registrar cambios (inserciones, actualizaciones, eliminaciones) en una fuente de datos de modo que otras aplicaciones puedan procesar solo esas modificaciones. En lugar de leer toda la tabla, leemos los cambios incrementales. En el ecosistema Azure, CDC puede implementarse con tecnologías como Azure SQL Database (CDC integrado), SQL Server en máquinas virtuales, Azure Data Factory / Synapse Mapping Data Flows para ingestión incremental, o herramientas como Azure Event Hubs y Azure Data Lake cuando usamos streams.
Ejemplo conceptual: tienes una tabla Orders en una Azure SQL Database con miles de filas. Un proceso ETL diario de full load lee todo — cuesta CPU, I/O y tiempo. Con CDC, cada cambio en la tabla (INSERT/UPDATE/DELETE) se registra en un log accesible. Un pipeline lee ese log y aplica solo los cambios al almacén analítico, reduciendo tiempo y coste.
Cómo funciona en la práctica
La implementación típica implica 3 componentes: la fuente con CDC activado; un mecanismo de lectura de los cambios; y el destino que aplica las modificaciones. Pasos prácticos en un escenario común (Azure SQL Database → Azure Data Factory → Azure Synapse / Data Lake):
- Activar CDC en la base de datos y en la tabla (Azure SQL Database): esto crea tablas de captura y registra el LSN (log sequence number) para los cambios. En SQL Server/managed instance o Azure SQL, se usan las funciones y procedimientos integrados para activar el CDC.
- Detectar el punto de control: el procesador guarda el último LSN leído para continuar de forma incremental.
- Leer los cambios: un pipeline ADF o un proceso personalizado consulta las tablas de CDC o usa funciones que devuelven las filas modificadas desde un LSN concreto.
- Aplicar en el destino: en el destino (por ejemplo, una tabla en Synapse), aplica INSERT/UPDATE/DELETE según el tipo de operación; se puede usar MERGE para simplificar.
- Guardar el nuevo punto de control: registra el LSN más reciente procesado para la siguiente ejecución.
Ejemplo de query conceptual para leer cambios (simplificada):
-- Pseudocódigo conceptual; en entorno real use las funciones CDC integradas
SELECT *
FROM cdc.fn_cdc_get_all_changes_Orders(@from_lsn, @to_lsn, 'all')
En Azure Data Factory puedes usar la funcionalidad de "Incremental copy" o un Mapping Data Flow que soporte lectura por timestamp/identificador incremental. Para cargas en tiempo real, soluciones basadas en Change Feed (por ejemplo, Cosmos DB Change Feed) o Azure Event Hubs + consumers son adecuadas.
Errores comunes
- Ignorar limpieza/retention: las tablas de CDC o logs tienen políticas de retención; sin gestión, el almacenamiento crece indefinidamente. Define una retención adecuada y políticas de purge/archival.
- No gestionar transacciones y ordering: las aplicaciones que leen cambios deben preservar el orden de las operaciones por LSN y tratar transacciones aplicadas parcialmente para evitar inconsistencias en el destino.
- Asumir que CDC siempre resuelve la latencia en tiempo real: CDC reduce el volumen, pero el ciclo de captura/propagación puede introducir latencia; para requisitos de latencia muy bajos, usar streaming nativo (Event Hubs, Kafka, Change Feed) puede ser preferible.
Cómo practicar
Practica con un laboratorio simple: crea una Azure SQL Database con una tabla de prueba, activa CDC para la base y para la tabla, inserta/actualiza/elimina filas y explora las funciones de CDC que devuelven cambios. A continuación, construye un pipeline en Azure Data Factory que lea de forma incremental y aplique MERGE en una tabla destino en Azure Synapse o en una tabla de Azure SQL.
Para la preparación del examen, usa el Practice Assessment OFICIAL y gratuito de Microsoft y la study guide de Microsoft (ambos gratuitos). Estos recursos ayudan a orientar el estudio sin recurrir a materiales no oficiales o dumps.
En resumen
- CDC captura solo los cambios (inserciones/actualizaciones/eliminaciones), evitando full loads costosos.
- En Azure, CDC puede implementarse en Azure SQL Database, combinado con ADF/Synapse para pipelines incrementales, o con Event Hubs/Change Feed para streaming.
- Gestionar puntos de control (LSN), retención y ordenación es esencial para la consistencia y el control de costes.
- Practica activando CDC en una base de prueba y construyendo un pipeline incremental; consulta el Practice Assessment y la study guide oficiales de Microsoft.