AI-901: como configurar e usar pipelines de anotação humana no Microsoft Foundry

Vou ensinar como configurar e usar pipelines de anotação humana (human-in-the-loop) no Microsoft Foundry — uma competência prática útil para o AI-901, porque dados rotulados de qualidade são essenciais para modelos de IA robustos na prática e são frequentemente abordados no exame como conceito e como cenário de implementação.

O que precisas de saber

Uma pipeline de anotação humana coordena a entrada de anotadores humanos para rotular ou corrigir dados que serão usados a treinar modelos de IA. No Foundry, isso implica criar tarefas de anotação, definir instruções claras, gerir fluxos de trabalho de revisão e integrar os dados anotados de volta na OneLake ou no repositório de dados do projeto. O objetivo é garantir consistência, qualidade e rastreabilidade das anotações.

Exemplo simples: tens imagens de inspeção industrial e precisas de caixas delimitadoras (bounding boxes) para anomalias. A pipeline pede aos anotadores que desenhem caixas, atribui prioridades, valida a qualidade e retorna ficheiros JSON com as coordenadas para treino do modelo.

Como funciona (passo a passo)

Os passos gerais para criar uma pipeline de anotação no Foundry são:

1. Preparar os dados: organizar ficheiros na OneLake com metadados mínimos (IDs, timestamps, tipo de ficheiro).
2. Definir o esquema de anotação: quais labels usar, formato de saída (COCO, Pascal VOC, JSON), e nível de detalhe.
3. Criar tarefas de anotação no Foundry: especificar instruções, exemplos de boa/ má anotação, e critérios de aceitação.
4. Atribuir anotadores e níveis de revisão: por exemplo, 2 anotadores independentes + 1 revisor.
5. Monitorizar qualidade: métricas como concordância inter-anotador (IoU para bounding boxes, F1 para etiquetas) e tempos médios por tarefa.
6. Ingerir resultado: validar e transformar formatos para o pipeline de treino e armazenar versões com metadados de auditoria.

Exemplo de esquema JSON simplificado para uma imagem anotada (COCO-like):

{
  "image_id": "img_0001.jpg",
  "annotations": [
    {"label": "anomaly", "bbox": [x_min, y_min, width, height], "confidence": 0.0, "annotator": "user123"}
  ],
  "annotation_version": "v1",
  "review_status": "approved"
}

Na prática: configurar no Foundry

1) Preparar um dataset na OneLake: criar a pasta do projeto e carregar imagens/ficheiros com metadados mínimos (CSV ou parquet com paths e ids). 2) No workspace do Foundry, criar um novo annotation task template: escolher o tipo (imagem, texto, áudio), definir labels e regras. 3) Escrever instruções claras: incluir exemplos positivos/negativos, tolerâncias (e.g. IoU mínimo para considerar concordância) e casos de fronteira. 4) Configurar o fluxo de revisão: por exemplo, cada item passa por dois anotadores; se discordarem, envia para um revisor. 5) Lançar o trabalho e acompanhar o dashboard: ver throughput, tempo por tarefa e percentagem de discrepância. 6) Exportar anotações num formato entendido pelo pipeline de treino (converter para COCO/JSON/CSV), versionar no Foundry e registar metadados de qualidade.

Snippet conceptual (pseudo-commando Foundry):

# Criar task template (conceitual)
foundry annotation create-template --name "inspecao_anomalias" \
  --type image --labels "anomaly,normal" \
  --output-format coco --instructions "Desenhe bounding boxes nas anomalias"

# Iniciar job de anotação
foundry annotation start-job --template "inspecao_anomalias" --dataset /OneLake/ProjectX/images/ --assign group:annotators

Erros comuns

1) Instruções vagas: anotadores interpretam labels de formas diferentes. Sempre fornecer exemplos claros e regras de decisão. 2) Falta de revisão/controlo de qualidade: não implementar revisões leva a dados ruidosos que prejudicam o treino. 3) Esquecer metadados e versionamento: sem rastreabilidade é difícil reproduzir ou corrigir problemas do dataset.

Como praticar

Pratica criando um pequeno projeto no Foundry (ou ambiente de avaliação se disponível): carrega 50 imagens, define 2–3 labels e corre um job de anotação com pelo menos dois anotadores. Mede a concordância e ajusta instruções até atingir uma boa consistência. Para preparação para o exame, usa o Practice Assessment OFICIAL e gratuito da Microsoft e a study guide da Microsoft (ambos gratuitos) — eles orientam sobre as competências medidas e ajudam a validar conhecimentos sem expor perguntas reais.

Em resumo

• Uma pipeline de anotação humana garante dados rotulados de qualidade, essenciais para treinar modelos fiáveis.
• No Foundry, configura-se um template de tarefa, regras de anotação, níveis de revisão e exportação/versionamento dos resultados.
• Boas instruções, métricas de qualidade (ex.: IoU, concordância) e audit trails são críticos para reduzir ruído nos dados.
• Pratica com pequenos conjuntos, monitoriza métricas e usa os recursos oficiais gratuitos da Microsoft para complementar o estudo.