Monitorización y alertas en Azure Data Factory

Los pipelines fallan en producción — lo importante es ser notificado de inmediato y tener diagnósticos suficientes para resolver rápidamente. Azure Monitor integrado en ADF ofrece alertas, dashboards y análisis de logs detallado.

Activar diagnostic logs

// Portal: ADF → Diagnostic Settings → Add diagnostic setting
Logs:
  ✓ PipelineRuns
  ✓ ActivityRuns
  ✓ TriggerRuns
Destination:
  ✓ Send to Log Analytics Workspace: law-bconcepts-prod

Alertas automáticas vía Azure Monitor

// Monitor → Alerts → Create Alert Rule
Scope: ADF instance
Condition:
  Signal: Failed pipeline runs (metric)
  Threshold: > 0 (cualquier fallo)
  Evaluation period: last 5 minutes

Action Group:
  Email: dados@bconcepts.pt
  SMS:   +351 9XX XXX XXX
  Logic App: (opcional) crear un ticket en el sistema de soporte

Consultar logs en Log Analytics

// KQL — pipelines fallidos en las últimas 24h
ADFPipelineRun
| where TimeGenerated > ago(24h)
| where Status == "Failed"
| project PipelineName, Start, End, Status, ErrorMessage
| order by Start desc

// Duración media por pipeline (últimas 2 semanas)
ADFPipelineRun
| where TimeGenerated > ago(14d)
| where Status == "Succeeded"
| summarize avg_duration_min = avg(End - Start) / 1m by PipelineName
| order by avg_duration_min desc

// Activities lentas
ADFActivityRun
| where TimeGenerated > ago(7d)
| where Status == "Succeeded"
| summarize p95_duration = percentile(End - Start, 95) by ActivityName
| order by p95_duration desc

Workbook personalizado

Cree un Azure Workbook en Monitor con las queries KQL anteriores en visualizaciones de tabla y gráfico. Comparta la URL con el equipo — es el dashboard de salud de los pipelines.

Conclusión

La monitorización no es opcional en producción. Configure alertas desde el primer despliegue y active los logs de diagnóstico — el coste de Log Analytics es marginal comparado con el tiempo ahorrado en diagnosticar fallos silenciosos.