DP-700: cómo implementar auditing y logging en soluciones analytics en Fabric
Enseñaré la habilidad de implementar auditing y logging en una solución analytics en Microsoft Fabric — una área clave del DP-700 que importa tanto para cumplimiento como para diagnóstico operativo. Saber configurar logs y auditorías permite responder a incidentes, demostrar cumplimiento y optimizar procesos de ingestión y consulta.
Lo que necesitas saber
Auditing y logging consisten en registrar eventos relevantes (accesos, cambios de esquema, fallos de pipeline, operaciones administrativas) y ponerlos a disposición para análisis. En el contexto de Fabric, esto implica varios niveles: diagnósticos de servicios (por ejemplo, diagnostic settings en Fabric o Azure), logs de actividad de workspace, telemetría de pipelines (Dataflows, Spark, Synapse), y eventos de OneLake. Los destinos típicos son Log Analytics, Event Hubs y storage accounts para conservación a largo plazo.
Ejemplo práctico: cuando un pipeline de ingestión falla, queremos un registro que incluya el id del pipeline, timestamp, mensaje de error y datos de input. Esos registros deben enviarse a un Log Analytics workspace para alertas e investigación con Kusto Query Language (KQL).
Cómo funciona (paso a paso)
Pasos prácticos para implementar una solución básica de auditing/logging en Fabric:
- Inventaría las superficies de logging — identifica los componentes que generan eventos: Workspaces, pipelines Dataflow/Synapse, Spark jobs, operaciones OneLake y control plane (operaciones administrativas).
- Habilita Diagnostic Settings — para cada recurso Fabric que soporta diagnostic settings, configura el envío de logs a destinos adecuados (Log Analytics, Event Hub, Storage). Esto permite centralizar eventos y retener datos para auditoría.
- Define qué categorías registrar — elige categorías (AuditLogs, OperationalLogs, PipelineRuns, SparkExecution). Solo registra lo necesario para reducir costes y ruido.
- Estructura el destino — generalmente: usar Log Analytics para queries/alertas ad‑hoc; Event Hub para streaming hacia SIEM; Storage account para retención inmutable (p. ej.: políticas de conservación legales).
- Normaliza y enriquece eventos — añade campos útiles (workspaceId, userPrincipal, pipelineId, dataSource, region). Si usas Azure Monitor o funciones personalizadas, transforma eventos antes de almacenarlos.
- Crea consultas KQL y alertas — en el Log Analytics escribe queries para detectar fallos repetidos, accesos no autorizados o picos de latencia y crea alertas que disparen notificaciones o playbooks.
- Automatiza retención y exportación — define políticas de retención en Storage/Log Analytics y exporta periódicamente a un archivo inmutable si es necesario para cumplimiento.
Ejemplo de configuración de Diagnostic Setting (concepto):
1. No portal Azure / Fabric resource -> Diagnostic settings
2. Add diagnostic setting -> select categories: AuditLogs, PipelineRuns
3. Choose destinations: Log Analytics workspace (MyLA), Storage account (audit-archive)
4. Save
Ejemplo de consulta KQL para identificar fallos de pipeline en las últimas 24h:
FabricPipelineLogs
| where TimeGenerated >= ago(24h)
| where Status == "Failed"
| summarize Count = count(), FirstSeen = min(TimeGenerated), LastSeen = max(TimeGenerated) by PipelineName, ErrorCode
| order by Count desc
Errores comunes
- Activar todos los tipos de log sin filtrado: conduce a costes muy elevados y mucho ruido. Selecciona categorías relevantes y ajusta la retención.
- No enriquecer eventos con contexto: logs con poca información (solo mensajes de error) hacen la investigación lenta. Incluye IDs de pipeline, workspace y userPrincipal.
- Guardar logs solo localmente: si solo tienes archivos en la misma suscripción sin exportación a un destino de largo plazo, corres el riesgo de pérdida en casos de incidentes. Usa almacenamiento con políticas de retención y, cuando sea relevante, exporta a un tenant SIEM.
Cómo practicar
Practica estas tareas en un entorno de laboratorio: crea un workspace Fabric, implementa un pipeline sencillo que genere errores intencionados y configura diagnostic settings hacia un Log Analytics workspace. Después escribe queries KQL para analizar los eventos y crea una alerta que dispare un Logic App o action group.
Para la preparación del examen, usa el Practice Assessment OFICIAL y gratuito de Microsoft para el DP-700 (el Practice Assessment oficial ayuda a evaluar competencias; es gratuito). Consulta también la study guide oficial de Microsoft para DP-700, que explica las áreas evaluadas y proporciona recursos de estudio (también gratuito).
En resumen
- Auditing y logging en Fabric implican capturar eventos de múltiples componentes y enviarlos a destinos como Log Analytics, Event Hubs y Storage.
- Configura diagnostic settings de forma selectiva, enriquece eventos y estructura la retención para reducir costes y cumplir requisitos legales.
- Crea consultas KQL y alertas para detectar incidentes y automatizar respuestas.
- Evita registrar todo sin filtrado y asegúrate de la exportación/retención adecuada para investigación y cumplimiento.