Monitorização e alertas no Azure Data Factory

Pipelines em produção falham — o importante é ser notificado imediatamente e ter diagnósticos suficientes para resolver rapidamente. O Azure Monitor integrado no ADF oferece alertas, dashboards e análise de logs detalhada.

Activar diagnóstic logs

// Portal: ADF → Diagnostic Settings → Add diagnostic setting
Logs:
  ✓ PipelineRuns
  ✓ ActivityRuns
  ✓ TriggerRuns
Destination:
  ✓ Send to Log Analytics Workspace: law-bconcepts-prod

Alertas automáticos via Azure Monitor

// Monitor → Alerts → Create Alert Rule
Scope: ADF instance
Condition:
  Signal: Failed pipeline runs (metric)
  Threshold: > 0 (qualquer falha)
  Evaluation period: last 5 minutes

Action Group:
  Email: dados@bconcepts.pt
  SMS:   +351 9XX XXX XXX
  Logic App: (opcional) criar ticket no sistema de suporte

Consultar logs no Log Analytics

// KQL — pipelines falhados nas últimas 24h
ADFPipelineRun
| where TimeGenerated > ago(24h)
| where Status == "Failed"
| project PipelineName, Start, End, Status, ErrorMessage
| order by Start desc

// Duração média por pipeline (últimas 2 semanas)
ADFPipelineRun
| where TimeGenerated > ago(14d)
| where Status == "Succeeded"
| summarize avg_duration_min = avg(End - Start) / 1m by PipelineName
| order by avg_duration_min desc

// Activities lentas
ADFActivityRun
| where TimeGenerated > ago(7d)
| where Status == "Succeeded"
| summarize p95_duration = percentile(End - Start, 95) by ActivityName
| order by p95_duration desc

Workbook personalizado

Crie um Azure Workbook em Monitor com os KQL queries acima em visualizações de tabela e gráfico. Partilhe o URL com a equipa — é o dashboard de saúde dos pipelines.

Conclusão

Monitorização não é opcional em produção. Configure alertas desde o primeiro deploy e active logs de diagnóstico — o custo de Log Analytics é marginal comparado com o tempo poupado a diagnosticar falhas silenciosas.