Cómo crear un Analyzer de Metadatos en Copilot de Fabric
Este tutorial muestra cómo crear un Analyzer de Metadatos en Copilot de Fabric para analizar tablas y generar un informe con columnas sensibles, tipos inconsistentes y campos sin documentación — útil para auditorías, gobernanza y preparación de modelos.
Requisitos previos
- Cuenta con acceso a Microsoft Fabric y permisos para Copilot.
- Una Lakehouse o Warehouse con al menos una tabla de ejemplo.
- Conocimientos básicos de SQL y del panel Data Explorer en Fabric.
Paso 1: Preparar la tabla de ejemplo
Elige una tabla en tu Lakehouse o Warehouse que tenga columnas variadas (nombres, emails, fechas, valores). Si es necesario, crea una tabla simple para probar. El objetivo es tener datos reales para que Copilot los analice.
-- Exemplo em SQL para criar uma tabela de teste
CREATE TABLE IF NOT EXISTS sales_demo (
id INT,
customer_name STRING,
customer_email STRING,
amount DECIMAL(10,2),
purchase_date DATE,
notes STRING
);
-- Inserir alguns registos
INSERT INTO sales_demo VALUES
(1,'Ana Silva','ana.silva@example.com',120.50,'2024-06-01','primeira compra'),
(2,'João Pereira','joao.p@example.com',95.00,'2024-06-03',NULL);
Paso 2: Abrir Copilot y definir el objetivo del Analyzer
Abre Copilot en Fabric y prepara un prompt claro: describe que quieres un Analyzer de Metadatos que identifique columnas sensibles (p. ej.: emails, NIF), tipos inconsistentes (números como texto) y campos sin descripción. Explica el formato de salida deseado (JSON o tabla).
Prompt exemplo:
"Analisa a tabela sales_demo e devolve um relatório JSON com:
- colunas sensíveis (tipo e motivo),
- colunas com tipos inconsistentes (exemplos),
- colunas sem documentação,
- sugestões de tipo e ação (ex.: anonymize, cast, document).
Formato: JSON com chaves: column, issue, example, suggestion."
Paso 3: Proveer contexto y muestras a Copilot
Para mejores resultados, proporciona un pequeño extracto de datos y el esquema. Puedes pegar cinco filas o usar una query SELECT LIMIT. Esto ayuda a Copilot a detectar patrones reales.
-- Extrair amostra para colar no prompt
SELECT * FROM sales_demo LIMIT 5;
Paso 4: Ejecutar el prompt e iterar
Ejecuta el prompt en Copilot. Probablemente tendrás que pedir aclaraciones o ajustar instrucciones (p. ej.: qué reglas usar para considerar algo como sensible). Itera hasta que el JSON sea coherente e incluya ejemplos reales de la muestra.
Exemplo de output esperado (JSON simplificado):
[
{"column":"customer_email","issue":"sensitive","example":"ana.silva@example.com","suggestion":"anonymize or hash"},
{"column":"amount","issue":"type_inconsistent","example":"'120.50' as text","suggestion":"cast to DECIMAL"},
{"column":"notes","issue":"missing_documentation","example":null,"suggestion":"add column description"}
]
Paso 5: Automatizar con un Prompt Template
Si vas a repetir este análisis en varias tablas, crea un Prompt Template en Copilot con placeholders para nombre de la tabla, schema y sample_query. Así ahorras tiempo y garantizas consistencia.
Template exemplo:
"Analisa a tabela {{table_name}} com schema: {{schema}} e sample: {{sample}}. Produz JSON com column, issue, example, suggestion."
Paso 6: Integrar el informe en la Lakehouse
Guarda el JSON resultante en una tabla de metadatos en la Lakehouse para seguimiento y auditoría. Esto permite consultas futuras y acciones automatizadas (p. ej.: workflows para anonimización).
-- Criar tabela para relatórios
CREATE TABLE IF NOT EXISTS metadata_analyzers_reports (
table_name STRING,
report JSON,
analyzed_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
-- Inserir relatório (exemplo simplificado)
INSERT INTO metadata_analyzers_reports (table_name, report) VALUES
('sales_demo', '{"report": [...] }');
Verificar el resultado
Confirma que el JSON contiene: todas las columnas importantes de la tabla, ejemplos reales (tomados de la muestra), y sugerencias accionables. Verifica también la tabla metadata_analyzers_reports para asegurar que el informe se ha guardado.
Conclusión
Con este Analyzer de Metadatos en Copilot de Fabric puedes identificar rápidamente riesgos e inconsistencias en tus tablas, acelerar auditorías y preparar datos para modelos. Siguientes pasos: crear reglas automáticas que apliquen las sugerencias (p. ej.: casting, anonimización) o programar análisis periódicos. Consejo: comienza con muestras pequeñas y ve refinando el prompt para reducir falsos positivos.