(+351) 21 24 10006  ·  info@bconcepts.pt
Carnaxide, Lisboa

Como criar políticas de purga por idade em Lakehouse: passo a passo

João Barros 18 de November de 2026 4 min de leitura

Este tutorial mostra como configurar e aplicar políticas de purga por idade em Lakehouse para remover registos antigos de forma segura. A purga por idade é útil para cumprir requisitos de retenção, reduzir custos de armazenamento e manter o desempenho das consultas.

Pré-requisitos

  • Conta com acesso a um ambiente que suporta Delta Lake (por exemplo Azure Databricks ou Microsoft Fabric Lakehouse).
  • Permissões para executar queries, criar/alterar tabelas Delta e agendar jobs.
  • Conhecimentos básicos de SQL e PySpark.
  • Uma tabela Delta com coluna de data/hora (por exemplo created_at TIMESTAMP).

Passo 1: Definir a política de retenção (idade)

Antes de tocar nos dados, decide qual a regra de purga: por exemplo, remover registos com created_at mais antigos que 365 dias. Documenta a regra e valida com a governação/privacidade.

Passo 2: Criar uma view ou tabela auxiliar com critérios de seleção

Cria uma view para identificar registos que devem ser purgados. Assim separas a lógica de selecção do processo de remoção e facilitas testes.

CREATE OR REPLACE VIEW db.purge_candidates AS
SELECT *
FROM db.my_delta_table
WHERE created_at < current_timestamp() - INTERVAL 365 DAYS;

Passo 3: Testar a selecção sem remover nada (verificação)

Executa queries de validação para contar e inspecionar os registos que seriam removidos. Evita surpresas.

-- Conta quantos registos seriam purgados
SELECT COUNT(*) AS cnt FROM db.purge_candidates;

-- Ver 10 exemplos para inspeção
SELECT * FROM db.purge_candidates LIMIT 10;

Passo 4: Implementar a purga segura com MERGE ou DELETE

Escolhe entre DELETE directo ou usar MERGE para maior controlo (por exemplo manter auditoria). Aqui mostramos um DELETE directo em Delta. Faz sempre backup ou cria um snapshot antes.

-- Exemplo de DELETE directo (Delta Lake)
DELETE FROM db.my_delta_table
WHERE created_at < current_timestamp() - INTERVAL 365 DAYS;

Passo 5: Criar uma cópia de auditoria opcional antes da purga

Se precisares de registar os dados eliminados para auditoria, grava-os numa tabela de histórico antes do DELETE. Mantém apenas os campos necessários para reduzir custos.

CREATE TABLE IF NOT EXISTS db.purged_audit AS
SELECT *, current_timestamp() AS purged_at
FROM db.purge_candidates;

-- Depois do backup, executa o DELETE na tabela primária
DELETE FROM db.my_delta_table
WHERE created_at < current_timestamp() - INTERVAL 365 DAYS;

Passo 6: Automatizar com job agendado e alertas

Agendar a purga evita intervenções manuais. Cria um job (por exemplo em Databricks Job ou Fabric pipeline) que executa os passos: gerar audit, executar DELETE, escrever log. Configura alertas em caso de falha ou se o número de registos purgados exceder um limiar.

# Pseudocódigo para job (PySpark breve)
from delta import *
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

# backup
spark.sql("CREATE TABLE IF NOT EXISTS db.purged_audit AS SELECT *, current_timestamp() AS purged_at FROM db.purge_candidates")
# delete
spark.sql("DELETE FROM db.my_delta_table WHERE created_at < current_timestamp() - INTERVAL 365 DAYS")
# log simples
cnt = spark.sql("SELECT COUNT(*) AS c FROM db.purged_audit WHERE purged_at >= current_date() - INTERVAL 1 DAY").collect()[0]['c']
print(f"Purged {cnt} rows today")

Passo 7: Manter e otimizar (VACUUM e OPTIMIZE)

Depois de purgar, a tabela Delta ainda pode ter ficheiros antigos. Executa OPTIMIZE e VACUUM com cautela para recolher espaço e melhorar consultas. Ajusta o retentionHours se for necessário, respeitando políticas de conservação de versão.

-- Optimizar e remover ficheiros antigos (exemplo Databricks/Delta)
OPTIMIZE db.my_delta_table;
VACUUM db.my_delta_table RETAIN 168 HOURS; -- 7 dias

Verificar o resultado

Confirma que a purga funcionou: conta novamente, verifica tamanho de armazenamento e inspeciona a tabela de auditoria. Revisa logs do job e alertas. Executa uma query de sanity para garantir que não existem registos com created_at anteriores à data de corte.

-- Verificação rápida
SELECT COUNT(*) FROM db.my_delta_table WHERE created_at < current_timestamp() - INTERVAL 365 DAYS;
-- Deve retornar 0

-- Tamanho e ficheiros (exemplo usando table info)
DESCRIBE HISTORY db.my_delta_table LIMIT 1;

Conclusão

Aplicar políticas de purga por idade em Lakehouse protege a conformidade e controla custos. Próximos passos: integrar regras na governação de dados, criar testes automatizados e ajustar o processo para retenções por tag ou por tabela. Dica: testa sempre em ambiente de desenvolvimento e mantém uma estratégia de backup antes de purgas em produção.