AI-901: como implementar pipelines de anotação de dados no Microsoft Foundry
Vou ensinar como implementar pipelines de anotação de dados no Microsoft Foundry, uma competência prática útil para o AI-901. A anotação de dados é crítica para treinar modelos de IA de qualidade e, no contexto do Foundry, permite gerir, versionar e automatizar etiquetas antes do treino.
O que precisas de saber
Anotação de dados refere-se ao processo de adicionar metadados (rótulos) a ficheiros (imagens, texto, áudio) para que modelos de Machine Learning aprendam a associar entradas a saídas. No Microsoft Foundry, o objetivo é criar um pipeline que: ingira dados brutos, aplique pré-processamento, disponibilize tarefas de anotação (manuais ou assistidas por modelos), valide e armazene as anotações em OneLake ou numa tabela versionada.
Exemplo prático: imagina que tens milhares de imagens médicas e queres anotar regiões de interesse (bounding boxes) para treinar um modelo de deteção. Um pipeline de anotação no Foundry automatiza a ingestão das imagens, cria trabalhos de anotação para anotadores humanos, aplica modelos de sugestão para acelerar o trabalho e grava o resultado numa camada versionada para treino.
Como funciona (passo a passo/principais componentes)
Um pipeline típico de anotação no Foundry envolve estes componentes e etapas:
- Ingestão: carregas os ficheiros brutos para OneLake ou registos suportados pelo Foundry. Garantir metadados mínimos (ID, data, fonte) facilita rastreabilidade.
- Pré-processamento: scripts para normalizar formatos, redimensionar imagens, limpar texto, extrair segmentos de áudio. Normalmente implementados em Python/Notebooks no ambiente do Foundry.
- Criação de tarefas de anotação: configurar o tipo de anotação (bounding box, segmentação, classificação, anotação de entidades), regras e instruções. No Foundry, podes definir esquemas de anotação e templates que os anotadores irão ver.
- Anotação manual e assistida: os anotadores realizam o trabalho; opcionalmente, usas um modelo de sugestão (uma versão preliminar do modelo ou um modelo de LLM/Visão) para pré-anotar e reduzir esforço humano.
- Validação e controlo de qualidade: workflows para revisão cruzada, auditorias ou amostragem estatística. Implementa métricas simples (acurácia, IoU para bounding boxes) e regras de aprovação.
- Armazenamento e versão: guarda as anotações em formato estruturado (JSON, Parquet) e cria versões dataset para treino/validação/teste. OneLake e as capacidades de versionamento do Foundry são úteis aqui.
- Integração com treino: expõe o dataset anotado para os pipelines de treino (p.ex. tarefas de treino no Foundry), garantindo que os metadados e splits estão corretos.
# Exemplo simples (pseudo-Python) de pré-processamento de imagens antes de criar tarefas
from PIL import Image
import json
def preprocess_image(input_path, output_path, size=(512,512)):
img = Image.open(input_path).convert('RGB')
img = img.resize(size)
img.save(output_path, format='JPEG')
# Gerar metadados para a tarefa de anotação
metadata = {
'id': 'img_0001',
'path': '/onelake/ingest/images/img_0001.jpg',
'source': 'scannerA',
'ingest_date': '2026-10-14'
}
with open('img_0001_meta.json','w') as f:
json.dump(metadata, f)
Nota prática: no Foundry, muitas destas ações são encapsuladas em Recipes (ou Flows) e Notebooks integrados. Procura usar ferramentas de orquestração disponíveis para automatizar a criação de tarefas e o versionamento.
Na prática — dicas operacionais
Para tornar um pipeline de anotação eficiente no Foundry segue estas recomendações:
- Define instruções de anotação claras e exemplos visuais para reduzir ambiguidades entre anotadores.
- Usa amostragem stratificada quando criares lotes de anotação para garantir diversidade nos dados anotados inicialmente.
- Aplica modelos de sugestão para pré-anotação (active learning) e concentra o esforço humano nas amostras incertas.
- Regista todos os metadados — quem anotou, quando, tempo gasto e uma confiança — para análise posterior de qualidade.
- Implementa revisões cruzadas (two-pass) em casos críticos: um anotador faz e outro valida.
Erros comuns
2–3 armadilhas típicas nesta competência:
- Não versionar as anotações: sobreescrever anotações sem versionamento impede rastrear alterações e reproduzir treinos anteriores.
- Instruções de anotação vagas: sem definições claras, os anotadores divergem, gerando ruído e degradando a qualidade do modelo.
- Ignorar balanceamento e representatividade: anotar apenas exemplos fáceis ou de uma classe dominante cria modelos enviesados.
Como praticar
Para preparar-te para o AI-901, pratica implementando um pipeline simples no Foundry: ingere um pequeno conjunto de imagens/texto, cria tarefas de anotação, usa um modelo simples para sugestões e valida as anotações; exporta o dataset versionado e integra-o num pipeline de treino. Para avaliação dos teus conhecimentos oficiais, usa o Practice Assessment OFICIAL e gratuito da Microsoft e consulta a study guide oficial gratuita da Microsoft para o AI-901 — ambos são recursos gratuitos e recomendados para alinhamento com o exame. Não uses dumps ou perguntas não oficiais.
Em resumo
- A anotação de dados no Foundry organiza a criação, gestão e versionamento de rótulos para treino de modelos.
- Um pipeline típico inclui ingestão, pré-processamento, criação de tarefas, anotação (manual/assistida), validação e versão.
- Boas práticas: instruções claras, modelos de sugestão, registo de metadados e revisão cruzada.
- Pratica com pequenos projetos no Foundry e usa os recursos oficiais da Microsoft (Practice Assessment e study guide) para te preparar.