AI-901: como dominar conceitos de visão computacional com Foundry

Vou ensinar a competência de visão computacional relevante para o exame AI-901: identificar e compreender modelos de classification de imagens e de detecção de objetos, e como se integram em soluções com Microsoft Foundry. Esta competência é importante tanto para responder às áreas teóricas do exame como para conceber soluções práticas que automatizem a análise de imagens na empresa.

O que precisas de saber

Visão computacional é a área da IA que permite às máquinas interpretar imagens e vídeo. As duas tarefas fundamentais são:

• Classificação de imagens: atribuir uma etiqueta (classe) a uma imagem inteira — por exemplo, indicar se numa fotografia há um gato ou um cão.
• Detecção de objetos: identificar e localizar múltiplos objetos numa imagem, normalmente devolvendo caixas delimitadoras (bounding boxes) e classes — por exemplo, detetar carros numa imagem de estrada e indicar a sua posição.

Exemplo prático: num armazém queres classificar uma imagem como "caixa danificada" ou "caixa íntegra" (classificação de imagens). Numa câmara de segurança queres detetar pessoas e equipamentos para controlo de segurança (detecção de objetos).

Como funciona (fluxo conceptual)

O fluxo típico para usar visão computacional numa solução com Foundry envolve várias etapas:

1. Recolha de imagens e rotulagem (labeling).
2. Escolha de modelo: modelos pré-treinados (transfer learning) vs treinar do zero.
3. Treino / fine-tuning do modelo com um conjunto de dados rotulado.
4. Deploy do modelo e integração na aplicação (inferência em batch ou em tempo real).
5. Monitorização e re-treino contínuo.

No Microsoft Foundry (parte do ecossistema Fabric/Foundry), tipicamente usarás um serviço ou componente que permita:

• Carregar conjuntos de dados de imagens (armazenados em OneLake ou num contentor suportado).
• Usar pipelines de treino e avaliação com modelos de visão (p. ex., ViT, Faster R-CNN, YOLO ou modelos especializados disponibilizados pelo Foundry).
• Gerir versões do modelo e efectuar deploy para endpoints de inferência.

Na prática: passo a passo para um mini-lab

Aqui tens um fluxo prático simplificado para treinar um modelo de detecção de objetos com Foundry. Não descrevo a interface exata do produto (pode mudar), mas explico os passos e comandos conceptuais.

1) Preparar o conjunto de dados

# Estrutura típica
/images/
  img001.jpg
  img002.jpg
/annotations/
  img001.json  # bounding boxes e classes no formato COCO ou Pascal VOC
  img002.json

Assegura que as anotações seguem um formato padrão (COCO é muito comum) para facilitar o treino com frameworks que o Foundry suporta.

2) Importar para OneLake / Foundry

Carrega as imagens e as anotações para a área de dados do Foundry. Marca o conjunto de dados com metadados: tipo (images), formato das anotações (COCO), classes presentes.

3) Escolher modelo e configuração de treino

# Exemplo conceptual de parâmetros
model: faster_rcnn_resnet50
input_size: 800
batch_size: 8
epochs: 30
learning_rate: 0.001
augmentation: [flip, color_jitter]

Usa transfer learning se tiveres poucos exemplos: preserva partes do modelo pré-treinado e faz fine-tuning nas últimas camadas.

4) Treinar e validar

Executa o job de treino no Foundry. Monitoriza métricas como mAP (mean Average Precision) para detecção de objetos e accuracy / F1 para classificação. Valida com um conjunto separado de imagens não vistas.

5) Deploy e inferência

Após avaliar, cria um endpoint de inferência. Decide entre inferência em batch (p. ex., analisar imagens armazenadas semanalmente) ou em tempo real (câmara com streaming).

# Exemplo conceptual de chamada de inferência (pseudo)
POST /predict
{
  "image": "base64-encoded-image"
}
# resposta:
{
  "predictions": [
    {"class": "person", "score": 0.92, "bbox": [x,y,w,h]},
    {"class": "helmet", "score": 0.88, "bbox": [x,y,w,h]}
  ]
}

6) Monitorização e melhoria contínua

Regista métricas de precisão e latência no endpoint. Periodicamente recolhe novos casos mal classificados e re-treina o modelo com mais dados rotulados.

Erros comuns

• Subestimar a qualidade das anotações: bounding boxes imprecisas ou classes inconsistentes degradam fortemente o desempenho.
• Ignorar desequilíbrios de classes: muitas imagens de uma classe e poucas de outra conduzem a modelos tendenciosos — usa técnicas de augmentação ou reamostragem.
• Não avaliar latência vs precisão: um modelo muito pesado pode ser preciso mas inviável para inferência em tempo real.

Como praticar

Para preparar o exame e consolidar esta competência:

• Faz o Practice Assessment OFICIAL da Microsoft para AI-901 (é gratuito) — ajuda-te a avaliar o teu conhecimento sobre os tópicos medidos.
• Lê a study guide oficial da Microsoft para AI-901 (também gratuita) onde estão descritas as skills measured e recursos recomendados.
• Pratica num ambiente de laboratório: importa um pequeno conjunto de dados (p. ex., um subconjunto de COCO ou Pascal VOC), treina um modelo de detecção de objetos e faz deploy de um endpoint de inferência. Se tiveres acesso ao Foundry/Fabric, segue lá o fluxo de importação, treino e deploy.

Em resumo

• Visão computacional inclui classificação de imagens e detecção de objetos — cada uma serve finalidades distintas.
• Num fluxo prático: recolha/rotulagem → treino (transfer learning quando possível) → deploy → monitorização.
• Qualidade das anotações, equilíbrio de classes e requisitos de latência são cruciais para o sucesso.
• Usa o Practice Assessment oficial e a study guide da Microsoft (gratuitos) e pratica com um mini-lab no Foundry para consolidar conhecimentos.