DP-700: como implementar auditing e logging em soluções analytics no Fabric
Vou ensinar a competência de implementar auditing e logging numa solução analytics no Microsoft Fabric — uma área-chave do DP-700 que importa tanto para conformidade como para diagnóstico operacional. Saber configurar logs e auditorias permite responder a incidentes, provar conformidade e optimizar processos de ingestão e consulta.
O que precisas de saber
Auditing e logging consistem em registar eventos relevantes (acessos, alterações de schema, falhas de pipeline, operações administrativas) e disponibilizá‑los para análise. No contexto do Fabric, isto envolve vários níveis: diagnósticos de serviços (por exemplo, diagnostic settings no Fabric ou Azure), logs de atividades de workspace, telemetria de pipelines (Dataflows, Spark, Synapse), e eventos do OneLake. Os destinos típicos são Log Analytics, Event Hubs e storage accounts para conservação a longo prazo.
Exemplo prático: quando um pipeline de ingestão falha, queremos um registo que inclua o id do pipeline, timestamp, mensagem de erro e dados de input. Esses registos devem ser enviados para um Log Analytics workspace para alertas e investigação com Kusto Query Language (KQL).
Como funciona (passo-a-passo)
Passos práticos para implementar uma solução básica de auditing/logging no Fabric:
- Inventaria as superfícies de logging — identifica os componentes que geram eventos: Workspaces, pipelines Dataflow/Synapse, Spark jobs, operações OneLake e control plane (operações administrativas).
- Habilita Diagnostic Settings — para cada recurso Fabric que suporta diagnostic settings, configura o envio de logs para destinos adequados (Log Analytics, Event Hub, Storage). Isto permite centralizar eventos e reter dados para auditoria.
- Define que categorias registar — escolhe categorias (AuditLogs, OperationalLogs, PipelineRuns, SparkExecution). Só regista o necessário para reduzir custos e ruído.
- Estrutura o destino — geralmente: usar Log Analytics para queries/alertas ad‑hoc; Event Hub para streaming para SIEM; Storage account para retenção imutável (ex.: políticas de conservação legais).
- Normaliza e enriquece eventos — adiciona campos úteis (workspaceId, userPrincipal, pipelineId, dataSource, region). Se uses Azure Monitor ou funções personalizadas, transforma eventos antes de guardar.
- Cria consultas KQL e alertas — no Log Analytics escreve queries para detectar falhas repetidas, acessos não autorizados ou picos de latência e cria alertas que disparem notificações ou playbooks.
- Automatiza retenção e exportação — define políticas de retenção em Storage/Log Analytics e exporta periodicamente para um ficheiro imutável se necessário para conformidade.
Exemplo de configuração de Diagnostic Setting (conceito):
1. No portal Azure / Fabric resource -> Diagnostic settings
2. Add diagnostic setting -> select categories: AuditLogs, PipelineRuns
3. Choose destinations: Log Analytics workspace (MyLA), Storage account (audit-archive)
4. Save
Exemplo de consulta KQL para identificar falhas de pipeline nas últimas 24h:
FabricPipelineLogs
| where TimeGenerated >= ago(24h)
| where Status == "Failed"
| summarize Count = count(), FirstSeen = min(TimeGenerated), LastSeen = max(TimeGenerated) by PipelineName, ErrorCode
| order by Count desc
Erros comuns
- Ativar todos os tipos de log sem filtragem: leva a custos elevadíssimos e muito ruído. Seleciona categorias relevantes e ajusta retenção.
- Não enriquecer eventos com contexto: logs com pouca informação (apenas mensagens de erro) tornam a investigação lenta. Inclui IDs de pipeline, workspace e userPrincipal.
- Guardar logs só localmente: se apenas tiveres ficheiros na mesma subscrição sem exportação para um destino de longo prazo, corres o risco de perda em casos de incidentes. Usa armazenamento com políticas de retenção e, quando relevante, exporta para um tenant SIEM.
Como praticar
Pratica estas tarefas num ambiente de laboratório: cria um workspace Fabric, implementa um pipeline simples que gera erros intencionais e configura diagnostic settings para um Log Analytics workspace. Depois escreve queries KQL para analisar os eventos e cria um alerta que dispare um Logic App ou action group.
Para preparação do exame, usa o Practice Assessment OFICIAL e gratuito da Microsoft para o DP-700 (o Practice Assessment oficial ajuda a avaliar competências; é gratuito). Consulta também a study guide oficial da Microsoft para DP-700, que explica as áreas medidas e fornece recursos de estudo (também gratuito).
Em resumo
- Auditing e logging no Fabric envolvem capturar eventos de múltiplos componentes e enviá‑los para destinos como Log Analytics, Event Hubs e Storage.
- Configura diagnostic settings seletivamente, enriquece eventos e estrutura retenção para reduzir custos e cumprir requisitos legais.
- Cria consultas KQL e alertas para detectar incidentes e automatizar respostas.
- Evita registar tudo sem filtragem e assegura exportação/retenção adequada para investigação e conformidade.