AI-901: cómo configurar y utilizar pipelines de anotación humana en Microsoft Foundry

Voy a enseñar cómo configurar y usar pipelines de anotación humana (human-in-the-loop) en Microsoft Foundry — una competencia práctica útil para el AI-901, porque datos etiquetados de calidad son esenciales para modelos de IA robustos en la práctica y suelen abordarse en el examen tanto como concepto como escenario de implementación.

Qué necesitas saber

Un pipeline de anotación humana coordina la entrada de anotadores humanos para etiquetar o corregir datos que se usarán para entrenar modelos de IA. En Foundry, esto implica crear tareas de anotación, definir instrucciones claras, gestionar flujos de trabajo de revisión e integrar los datos anotados de vuelta en OneLake o en el repositorio de datos del proyecto. El objetivo es garantizar consistencia, calidad y trazabilidad de las anotaciones.

Ejemplo simple: tienes imágenes de inspección industrial y necesitas cajas delimitadoras (bounding boxes) para anomalías. El pipeline pide a los anotadores que dibujen cajas, asigna prioridades, valida la calidad y devuelve archivos JSON con las coordenadas para el entrenamiento del modelo.

Cómo funciona (paso a paso)

Los pasos generales para crear un pipeline de anotación en Foundry son:

1. Preparar los datos: organizar archivos en OneLake con metadatos mínimos (IDs, timestamps, tipo de archivo).
2. Definir el esquema de anotación: qué labels usar, formato de salida (COCO, Pascal VOC, JSON) y nivel de detalle.
3. Crear tareas de anotación en Foundry: especificar instrucciones, ejemplos de buena/mala anotación y criterios de aceptación.
4. Asignar anotadores y niveles de revisión: por ejemplo, 2 anotadores independientes + 1 revisor.
5. Monitorizar calidad: métricas como concordancia inter-anotador (IoU para bounding boxes, F1 para etiquetas) y tiempos medios por tarea.
6. Ingerir resultado: validar y transformar formatos para el pipeline de entrenamiento y almacenar versiones con metadatos de auditoría.

Ejemplo de esquema JSON simplificado para una imagen anotada (COCO-like):

{
  "image_id": "img_0001.jpg",
  "annotations": [
    {"label": "anomaly", "bbox": [x_min, y_min, width, height], "confidence": 0.0, "annotator": "user123"}
  ],
  "annotation_version": "v1",
  "review_status": "approved"
}

En la práctica: configurar en Foundry

1) Preparar un dataset en OneLake: crear la carpeta del proyecto y subir imágenes/archivos con metadatos mínimos (CSV o parquet con paths e ids). 2) En el workspace de Foundry, crear una nueva plantilla de tarea de annotation: elegir el tipo (imagen, texto, audio), definir labels y reglas. 3) Escribir instrucciones claras: incluir ejemplos positivos/negativos, tolerancias (e.g. IoU mínimo para considerar concordancia) y casos límite. 4) Configurar el flujo de revisión: por ejemplo, cada ítem pasa por dos anotadores; si discrepan, enviar a un revisor. 5) Lanzar el trabajo y seguir el dashboard: ver throughput, tiempo por tarea y porcentaje de discrepancia. 6) Exportar anotaciones en un formato entendido por el pipeline de entrenamiento (convertir a COCO/JSON/CSV), versionarlo en Foundry y registrar metadatos de calidad.

Snippet conceptual (pseudo-commando Foundry):

# Criar task template (conceitual)
foundry annotation create-template --name "inspecao_anomalias" \
  --type image --labels "anomaly,normal" \
  --output-format coco --instructions "Desenhe bounding boxes nas anomalias"

# Iniciar job de anotação
foundry annotation start-job --template "inspecao_anomalias" --dataset /OneLake/ProjectX/images/ --assign group:annotators

Errores comunes

1) Instrucciones vagas: los anotadores interpretan los labels de formas diferentes. Siempre proporcionar ejemplos claros y reglas de decisión. 2) Falta de revisión/control de calidad: no implementar revisiones conduce a datos ruidosos que perjudican el entrenamiento. 3) Olvidar metadatos y versionado: sin trazabilidad es difícil reproducir o corregir problemas del dataset.

Cómo practicar

Practica creando un pequeño proyecto en Foundry (o en un entorno de evaluación si está disponible): sube 50 imágenes, define 2–3 labels y ejecuta un job de anotación con al menos dos anotadores. Mide la concordancia y ajusta las instrucciones hasta alcanzar una buena consistencia. Para preparar el examen, usa el Practice Assessment OFICIAL y gratuito de Microsoft y la study guide de Microsoft (ambos gratuitos) — orientan sobre las competencias medidas y ayudan a validar conocimientos sin exponer preguntas reales.

En resumen

• Un pipeline de anotación humana garantiza datos etiquetados de calidad, esenciales para entrenar modelos fiables.
• En Foundry, se configura una plantilla de tarea, reglas de anotación, niveles de revisión y exportación/versionado de los resultados.
• Buenas instrucciones, métricas de calidad (ej.: IoU, concordancia) y audit trails son críticos para reducir ruido en los datos.
• Practica con conjuntos pequeños, monitoriza métricas y utiliza los recursos oficiales gratuitos de Microsoft para complementar el estudio.