DP-900: como compreender e usar Change Data Capture no Azure
Vou ensinar a competência: compreender e usar Change Data Capture (CDC) em soluções de dados no Azure. CDC é importante no exame DP-900 porque demonstra entendimento de ingestão incremental e integração entre sistemas — e, na prática, reduz latência e custo ao capturar apenas as alterações.
O que precisas de saber
Change Data Capture (CDC) é uma técnica para registar alterações (inserções, actualizações, eliminações) numa fonte de dados de forma que outras aplicações possam processar apenas essas mudanças. Em vez de ler toda a tabela, lemos as alterações incrementais. No ecossistema Azure, CDC pode ser implementado com tecnologias como Azure SQL Database (CDC integrado), SQL Server em máquinas virtuais, Azure Data Factory / Synapse Mapping Data Flows para ingestão incremental, ou ferramentas como Azure Event Hubs e Azure Data Lake quando usamos streams.
Exemplo conceptual: tens uma tabela Orders numa Azure SQL Database com milhares de linhas. Um processo ETL diário de full load lê tudo — custa CPU, I/O e tempo. Com CDC, cada alteração à tabela (INSERT/UPDATE/DELETE) é registada num log acessível. Um pipeline lê esse log e aplica apenas as alterações ao armazém analítico, reduzindo tempo e custo.
Como funciona na prática
A implementação típica envolve 3 componentes: a fonte com CDC activado; um mecanismo de leitura das alterações; e o destino que aplica as mudanças. Passos práticos num cenário comum (Azure SQL Database → Azure Data Factory → Azure Synapse / Data Lake):
- Activar CDC na base de dados e na tabela (Azure SQL Database): isto cria tabelas de captura e regista o LSN (log sequence number) para alterações. Em SQL Server/managed instance ou Azure SQL, usa-se as funções e procedimentos integrados para activar o CDC.
- Detectar o ponto de controlo: o processador guarda o último LSN lido para continuar incrementalmente.
- Ler as alterações: um pipeline ADF ou um processo personalizado consulta as tabelas de CDC ou usa funções que retornam as linhas alteradas desde um LSN concreto.
- Aplicar no destino: no destino (por exemplo, uma tabela em Synapse), aplica INSERT/UPDATE/DELETE conforme o tipo de operação; pode usar MERGE para simplificar.
- Guardar o novo ponto de controlo: regista o LSN mais recente processado para a próxima execução.
Exemplo de query conceptual para ler alterações (simplificada):
-- Pseudocódigo conceptual; em ambiente real use as funções CDC integradas
SELECT *
FROM cdc.fn_cdc_get_all_changes_Orders(@from_lsn, @to_lsn, 'all')
Em Azure Data Factory podes usar a funcionalidade de "Incremental copy" ou um Mapping Data Flow que suporte leitura por timestamp/identificador incremental. Para cargas em tempo real, soluções baseadas em Change Feed (por exemplo, Cosmos DB Change Feed) ou Azure Event Hubs + consumers são adequadas.
Erros comuns
- Ignorar limpeza/retention: as tabelas de CDC ou logs têm políticas de retenção; sem gestão, o armazenamento cresce indefinidamente. Define uma retenção adequada e políticas de purge/archival.
- Não gerir transacções e ordering: aplicações que leem mudanças devem preservar a ordem das operações por LSN e tratar transacções parcialmente aplicadas para evitar inconsistências no destino.
- Assumir que CDC resolve sempre latência em tempo real: CDC reduz volume, mas o ciclo de captura/propagação pode introduzir latência; para requisitos de latência muito baixos, usar streaming nativo (Event Hubs, Kafka, Change Feed) pode ser preferível.
Como praticar
Pratica com um laboratório simples: cria uma Azure SQL Database com uma tabela de teste, activa CDC para a base e para a tabela, insere/actualiza/elimina linhas e explora as funções de CDC que retornam mudanças. Em seguida, constrói um pipeline no Azure Data Factory que lê incrementalmente e aplica MERGE numa tabela destino no Azure Synapse ou numa tabela do Azure SQL.
Para preparação para o exame, usa o Practice Assessment OFICIAL e gratuito da Microsoft e a study guide da Microsoft (ambos gratuitos). Estes recursos ajudam a orientar o estudo sem recorrer a materiais não oficiais ou dumps.
Em resumo
- CDC captura apenas as alterações (inserções/actualizações/eliminações), evitando full loads dispendiosos.
- No Azure, CDC pode ser implementado em Azure SQL Database, combinado com ADF/Synapse para pipelines incrementais, ou com Event Hubs/Change Feed para streaming.
- Gerir pontos de controlo (LSN), retenção e ordenação é essencial para consistência e controlo de custos.
- Pratica activando CDC numa base de teste e construindo um pipeline incremental; consulta o Practice Assessment e a study guide oficiais da Microsoft.