Cómo crear políticas de purga por antigüedad en Lakehouse: paso a paso
Este tutorial muestra cómo configurar y aplicar políticas de purga por antigüedad en Lakehouse para eliminar registros antiguos de forma segura. La purga por antigüedad es útil para cumplir requisitos de retención, reducir costes de almacenamiento y mantener el rendimiento de las consultas.
Requisitos previos
- Cuenta con acceso a un entorno que soporte Delta Lake (por ejemplo Azure Databricks o Microsoft Fabric Lakehouse).
- Permisos para ejecutar queries, crear/alterar tablas Delta y programar jobs.
- Conocimientos básicos de SQL y PySpark.
- Una tabla Delta con columna de fecha/hora (por ejemplo created_at TIMESTAMP).
Paso 1: Definir la política de retención (antigüedad)
Antes de tocar los datos, decide cuál es la regla de purga: por ejemplo, eliminar registros con created_at más antiguos que 365 días. Documenta la regla y valida con la gobernanza/privacidad.
Paso 2: Crear una vista o tabla auxiliar con criterios de selección
Crea una view para identificar registros que deben ser purgados. Así separas la lógica de selección del proceso de eliminación y facilitas pruebas.
CREATE OR REPLACE VIEW db.purge_candidates AS
SELECT *
FROM db.my_delta_table
WHERE created_at < current_timestamp() - INTERVAL 365 DAYS;
Paso 3: Probar la selección sin eliminar nada (verificación)
Ejecuta queries de validación para contar e inspeccionar los registros que serían eliminados. Evita sorpresas.
-- Cuenta cuántos registros serían purgados
SELECT COUNT(*) AS cnt FROM db.purge_candidates;
-- Ver 10 ejemplos para inspección
SELECT * FROM db.purge_candidates LIMIT 10;
Paso 4: Implementar la purga segura con MERGE o DELETE
Elige entre DELETE directo o usar MERGE para mayor control (por ejemplo mantener auditoría). Aquí mostramos un DELETE directo en Delta. Haz siempre backup o crea un snapshot antes.
-- Ejemplo de DELETE directo (Delta Lake)
DELETE FROM db.my_delta_table
WHERE created_at < current_timestamp() - INTERVAL 365 DAYS;
Paso 5: Crear una copia de auditoría opcional antes de la purga
Si necesitas registrar los datos eliminados para auditoría, guárdalos en una tabla de histórico antes del DELETE. Mantén solo los campos necesarios para reducir costes.
CREATE TABLE IF NOT EXISTS db.purged_audit AS
SELECT *, current_timestamp() AS purged_at
FROM db.purge_candidates;
-- Después del backup, ejecuta el DELETE en la tabla primaria
DELETE FROM db.my_delta_table
WHERE created_at < current_timestamp() - INTERVAL 365 DAYS;
Paso 6: Automatizar con job programado y alertas
Programar la purga evita intervenciones manuales. Crea un job (por ejemplo en Databricks Job o Fabric pipeline) que ejecute los pasos: generar audit, ejecutar DELETE, escribir log. Configura alertas en caso de fallo o si el número de registros purgados excede un umbral.
# Pseudocódigo para job (PySpark breve)
from delta import *
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
# backup
spark.sql("CREATE TABLE IF NOT EXISTS db.purged_audit AS SELECT *, current_timestamp() AS purged_at FROM db.purge_candidates")
# delete
spark.sql("DELETE FROM db.my_delta_table WHERE created_at < current_timestamp() - INTERVAL 365 DAYS")
# log simple
cnt = spark.sql("SELECT COUNT(*) AS c FROM db.purged_audit WHERE purged_at >= current_date() - INTERVAL 1 DAY").collect()[0]['c']
print(f"Purged {cnt} rows today")
Paso 7: Mantener y optimizar (VACUUM y OPTIMIZE)
Después de purgar, la tabla Delta aún puede tener archivos antiguos. Ejecuta OPTIMIZE y VACUUM con cautela para recuperar espacio y mejorar consultas. Ajusta el retentionHours si es necesario, respetando políticas de conservación de versión.
-- Optimizar y eliminar archivos antiguos (ejemplo Databricks/Delta)
OPTIMIZE db.my_delta_table;
VACUUM db.my_delta_table RETAIN 168 HOURS; -- 7 días
Verificar el resultado
Confirma que la purga funcionó: cuenta de nuevo, verifica tamaño de almacenamiento e inspecciona la tabla de auditoría. Revisa logs del job y alertas. Ejecuta una query de sanity para garantizar que no existen registros con created_at anteriores a la fecha de corte.
-- Verificación rápida
SELECT COUNT(*) FROM db.my_delta_table WHERE created_at < current_timestamp() - INTERVAL 365 DAYS;
-- Debe devolver 0
-- Tamaño y archivos (ejemplo usando table info)
DESCRIBE HISTORY db.my_delta_table LIMIT 1;
Conclusión
Aplicar políticas de purga por antigüedad en Lakehouse protege la conformidad y controla costes. Próximos pasos: integrar reglas en la gobernanza de datos, crear pruebas automatizadas y ajustar el proceso para retenciones por tag o por tabla. Consejo: prueba siempre en entorno de desarrollo y mantiene una estrategia de backup antes de purgas en producción.