DP-700: como implementar políticas de retenção e ciclo de vida de dados no Fabric

Vou ensinar‑te a competência de implementar políticas de retenção e ciclo de vida de dados no Microsoft Fabric, uma aptidão exigida no DP-700 que garante conformidade, reduz custos de armazenamento e mantém desempenho. Na prática, isto significa configurar regras que movem, arquivam ou eliminam dados consoante a sua idade, sensibilidade e utilização.

O que precisas de saber

Políticas de retenção e ciclo de vida definem como os dados são geridos desde a sua criação até à eliminação. No contexto do Fabric e de um Data Lakehouse (OneLake/Delta), isto inclui:

• Retenção: durante quanto tempo conservar dados por motivos legais, de auditoria ou de negócio.
• Tiering/Arquivamento: mover dados para camadas de armazenamento mais económicas (por exemplo, arquivar ficheiros mais antigos) ou para formatos optimizados para consulta reduzida.
• Eliminação segura: remover dados de forma irreversível quando o período de retenção expira, respeitando políticas de retenção legais e de segurança.

Exemplo prático: um conjunto de logs de aplicação pode ser mantido por 90 dias em armazenamento quente para análises rápidas, depois movido para arquivamento por mais 2 anos e finalmente eliminado ao fim de 2 anos e 90 dias.

Como funciona (passo-a-passo prático)

Segue um processo prático, com acções concretas que aplicas no Fabric e nos artefactos associados (OneLake, Delta tables, Dataflows, Synapse).

1. Inventaria os dados e define requisitos: categoriza datasets por sensibilidade, frequência de acesso e requisitos legais. Usa o catálogo de dados para registar metadados: proprietário, classificação e período de retenção.

2. Escolhe estratégia de armazenamento: decide quando usar camadas (hot/warm/cold), ficheiros Delta optimizados para leitura vs ficheiros para arquivamento (parquet compactado). Para dados transaccionais, mantém versão Delta; para logs raramente acedidos, considera cópias em formato optimizado para arquivamento.

3. Implementa regras automáticas de ageing: cria pipelines (Dataflow, Synapse Spark ou Notebooks em Fabric) que executem operações baseadas na data:

   # Exemplo conceptual em pseudocódigo PySpark
   from delta.tables import DeltaTable
   
   # carregar a tabela Delta
   delta = DeltaTable.forPath(spark, "/lakehouse/areas/prod/logs")
   
   # identificar partições antigas
   old_df = spark.read.format("delta").load("/lakehouse/areas/prod/logs") \
       .filter("event_date < date_sub(current_date(), 90)")
   
   # mover dados para arquivamento (escrever em local de arquivamento)
   old_df.write.mode("append").parquet("/archive/logs/year=2023")
   
   # apagar das tabelas activas (gerir transacção Delta)
   delta.delete("event_date < date_sub(current_date(), 90)")
   

   Este script ilustra: identificar dados antigos, copiar para arquivamento e apagar da tabela activa garantindo consistência com Delta.

4. Automatiza e agenda tarefas: usa pipelines/Jobs no Fabric para executar estas acções em intervalos regulares. Adiciona logs e alertas para falhas.

5. Regista e monitoriza alterações: mantém um inventário com timestamps de movimentos e eliminações. Usa o catálogo e auditorias (audit logs) para evidência de conformidade.

6. Implementa eliminação segura: quando um registo atinge o fim do ciclo, assegura que é eliminado em todos os locais (OneLake, snapshots Delta, backups). No Delta, gere snapshots e vacuum com cuidado:

   # Exemplo conceptual: executar VACUUM com retenção segura
   # vacuum('/lakehouse/areas/prod/logs', retentionHours=168)  # 7 dias
   

   Não reduzas a retenção do VACUUM abaixo das necessidades legais; isto pode eliminar snapshots que outras operações ainda referenciem.

Erros comuns

• Eliminar snapshots ou ficheiros demasiado cedo: reduzir a janela de retenção de VACUUM para recuperar espaço sem avaliar dependências pode quebrar reprodutibilidade e recovery.
• Não sincronizar catálogo e armazenamento: mover ficheiros sem actualizar o catálogo causa queries falhadas e confusão sobre a localização dos dados.
• Falhar na eliminação completa: esquecer backups, cópias ou logs com dados sensíveis impede cumprimento de requisitos de eliminação e pode criar riscos legais.

Como praticar

Pratica com um laboratório simples: cria uma tabela Delta com dados simulados de logs, implementa um notebook que arquiva e apaga registos antigos, e usa VACUUM e o catálogo para verificar resultados. Para preparação formal, faz o Practice Assessment OFICIAL gratuito da Microsoft e consulta a study guide oficial do DP-700 (ambos gratuitos). Estes recursos ajudam‑te a avaliar lacunas de conhecimento sem recorrer a material não autorizado.

Em resumo

• Políticas de retenção e ciclo de vida protegem conformidade, reduzem custos e mantêm performance do ambiente analytics.
• Implementa um processo: inventariação → rule design → automatização → monitorização → eliminação segura.
• Sê cauteloso com VACUUM e snapshots Delta; sincroniza sempre catálogo e armazenamento.
• Usa os recursos oficiais da Microsoft (Practice Assessment e study guide gratuitos) para validar e reforçar a prática.