Unity Catalog en Databricks: gobernanza unificada de datos e IA

Unity Catalog es la solución de gobernanza de datos de Databricks que unifica el control de acceso, el linaje y la auditoría en un único plano de metadatos compartido entre todos los workspaces. Sustituye los metastores Hive locales por un catálogo centralizado y multi-workspace.

Jerarquía de objetos

Metastore (1 por región)
  └─ Catalog (p. ej. prod, dev, raw)
       └─ Schema / Database
            └─ Table / View / Volume / Function / Model

Crear una estructura básica

-- SQL en Databricks
CREATE CATALOG IF NOT EXISTS prod;
CREATE SCHEMA IF NOT EXISTS prod.ventas;
CREATE TABLE prod.ventas.fact_orders
USING DELTA AS SELECT * FROM hive_metastore.legacy.orders;

Control de acceso granular

-- Dar acceso de lectura a un grupo
GRANT SELECT ON TABLE prod.ventas.fact_orders TO `analysts`;

-- Acceso a un schema completo
GRANT USE SCHEMA, SELECT ON SCHEMA prod.ventas TO `data_team`;

-- Enmascarar una columna sensible
ALTER TABLE prod.ventas.clientes
  ALTER COLUMN nif SET MASK mask_pii USING COLUMNS (current_user());

Linaje automático

Unity Catalog captura automáticamente el linaje entre tablas cuando usa SQL o Delta Live Tables. Visualícelo en el Data Explorer: Table → Lineage Graph.

External Locations y Volumes

-- Registrar almacenamiento externo
CREATE EXTERNAL LOCATION my_adls
URL 'abfss://container@account.dfs.core.windows.net/'
WITH (STORAGE CREDENTIAL my_credential);

-- Volume para acceso a archivos no tabulares
CREATE VOLUME prod.raw.incoming_files
LOCATION 'abfss://container@account.dfs.core.windows.net/incoming/';

Conclusión

Unity Catalog convierte Databricks en una plataforma enterprise-ready. Con un único catálogo para toda la organización, elimina los silos de permisos entre workspaces y da a los equipos de datos visibilidad completa sobre quién accede a qué y de dónde vienen los datos.