(+351) 21 24 10006  ·  info@bconcepts.pt
Carnaxide, Lisboa

AI-901: cómo configurar mecanismos de monitorización de inferencia en Microsoft Foundry

João Barros 15 de November de 2026 4 min de lectura

Te voy a enseñar cómo configurar un mecanismo de monitorización de inferencia en Microsoft Foundry — una competencia práctica valiosa para el AI-901. Esta capacidad es importante porque, en la práctica, garantiza que los modelos en producción continúan entregando resultados correctos y dentro de los requisitos de rendimiento.

Lo que necesitas saber

La monitorización de inferencia consiste en recoger señales de las llamadas al modelo en producción — por ejemplo, latencia, tasa de error, distribución de entradas, distribuciones de salida y métricas de confianza. En Microsoft Foundry, esto implica configurar pipelines que recogen telemetría de las llamadas de inferencia, almacenan muestras (inputs/outputs) en OneLake, y generan alertas o informes cuando ocurren anomalías (por ejemplo, desplazamiento de concepto o aumento de latencia).

Ejemplo: tienes un endpoint de clasificación de imagen. La monitorización debe registrar el tiempo de respuesta por petición, la proporción de etiquetas con baja confianza (< 0.6), y la distribución de las clases previstas. Si se observa que una clase antes rara crece abruptamente, esto puede indicar un cambio en los datos de producción o un error en el pipeline de adquisición.

Cómo funciona (paso a paso)

La configuración típica sigue estos pasos:

  1. Instrumentación del endpoint: activa el registro (logging) en las llamadas de inferencia para capturar timestamp, payload (o un resumen/embedding), latencia y score/confianza.
  2. Enrutamiento a OneLake: configura el Foundry para enviar eventos de inferencia y muestras a una ubicación controlada en OneLake, con política de retención apropiada.
  3. Construcción de pipelines de agregación: crea pipelines en Foundry que calculan métricas agregadas (p. ej. percentiles de latencia, tasa de errores, distribución de clases) por ventanas temporales.
  4. Detección de anomalías: aplica reglas simples (umbrales) y/o modelos de detección de anomalías que avisan cuando las métricas se desvían de lo normal.
  5. Alertas y dashboards: configura alertas (e-mail, webhook) y dashboards (Power BI o tooling integrado) para visualización continua.
  6. Flujo de respuesta: define playbooks que describen pasos a tomar — por ejemplo, recopilar más muestras, reentrenar el modelo, revertir a la versión anterior, o escalar la infraestructura.

Ejemplo de configuración de instrumentación (pseudocódigo simple para el cliente que llama al endpoint):

// Pseudocódigo: llamar endpoint y enviar evento de telemetría
start = now()
response = call_model_endpoint(input_payload)
latency = now() - start
telemetry = {
  "timestamp": start,
  "latency_ms": latency,
  "confidence": response.confidence,
  "predicted_label": response.label,
  "input_summary": summarize(input_payload) // p.ej. hashes, features, embedding
}
send_to_foundry_telemetry(telemetry)
store_sample_in_onelake(input=maybe_redact(input_payload), output=response)

Notas prácticas: redactar datos sensibles antes de almacenar, y muestreo para evitar costes elevados. En lugar de guardar todo el payload, guarda resúmenes (hashes) o embeddings.

En la práctica: ejemplos de métricas a monitorizar

  • Latencia: media, p95, p99 por endpoint/versión.
  • Tasa de error: porcentaje de respuestas con error HTTP o excepción.
  • Confianza: percentiles de las probabilidades/score, y proporción por debajo del umbral.
  • Distribución de clases/outputs: comparación entre entrenamiento y producción (detección de deriva).
  • Volumen de peticiones: para detectar picos inesperados o disminuciones.

Errores comunes

1) Recoger demasiada información sin anonimizar: almacenar archivos de entrada completos sin redacción puede violar políticas de privacidad y hacer que el sistema sea inutilizable por cuestiones legales. En su lugar, redacta o muestrea.

2) No definir umbrales o métricas de referencia: monitorizar sin tener una baseline hace difícil distinguir fluctuaciones normales de anomalías reales. Define baselines durante una ventana de estabilidad inicial.

3) Olvidar la instrumentación de versiones: si no registras la versión del modelo en las telemetrías, resulta difícil correlacionar cambios de comportamiento con actualizaciones del modelo.

Cómo practicar

Practica con los recursos oficiales y gratuitos de Microsoft: realiza el Practice Assessment OFICIAL para AI-901 y revisa la study guide de Microsoft para AI-901. Usa entornos de prueba del Foundry (o suscripciones Azure con cuotas) para crear un endpoint simple, instrumentarlo conforme se ha descrito, y construir un pipeline que calcule métricas básicas y dispare alertas. Estos recursos oficiales son gratuitos para evaluación y estudio. No utilices dumps o materiales no oficiales.

En resumen

  • La monitorización de inferencia recoge telemetría (latencia, errores, confianza, distribución) para vigilar modelos en producción.
  • En Foundry, envía eventos a OneLake, agrega en pipelines y aplica detección de anomalías/alertas.
  • Protege datos sensibles: la redacción y el muestreo son esenciales para la privacidad y los costes.
  • Define baselines y registra versiones del modelo para diagnosticar rápidamente regresiones y deriva.