AI-901: implementar classificadores de texto com Microsoft Foundry

Neste guia explico como implementar um classificador de texto usando Microsoft Foundry — desde preparar dados rotulados até treinar e avaliar o modelo. Esta competência é frequente na área "Identificar conceitos e capacidades de IA" e é muito útil na prática para automatizar triagem de mensagens, categorização de tickets e moderação.

O que precisas de saber

Um classificador de texto atribui rótulos a fragmentos de texto (por exemplo: "suporte", "vendas", "spam"). Conceitos-chave: rótulos (labels), treino supervisionado, conjunto de treino/validação/teste, métricas (accuracy, precision, recall, F1), sobreajuste (overfitting) e pré-processamento (tokenização, limpeza). Em Foundry usas um pipeline que prepara os dados, escolhe um algoritmo (ou um modelo pré-treinado) e executa treino e avaliação. Exemplo: tens 3.000 emails rotulados como {"Suporte","Vendas","Outros"}. Vais dividir os dados, treinar e confirmar que o modelo distingue bem as classes.

Como funciona

Passos essenciais, de alto nível:

1. Criação e rotulagem: obter exemplos representativos para cada rótulo.
2. Limpeza e pré-processamento: normalizar maiúsculas/minúsculas, remover HTML, tokenizar e, possivelmente, aplicar lematização/stemming.
3. Divisão dos dados: tipicamente 70% treino, 15% validação, 15% teste (ajusta conforme a disponibilidade).
4. Escolha do modelo: modelos leves (Logistic Regression, Naive Bayes) para baseline; depois experimentar modelos do ecossistema de LLMs ou embeddings combinados com um classificador.
5. Treino e validação: ajustar hiperparâmetros, usar early stopping para reduzir overfitting.
6. Avaliação: calcular accuracy, precision, recall e F1 por classe; analisar a matriz de confusão.
7. Implantação: empacotar o pipeline em Foundry como endpoint de inferência.

Exemplo conceptual de pré-processamento em pseudo-código (pode ser executado em notebooks dentro de Foundry):

# Exemplo simplificado de pré-processamento
def preprocess(text):
    text = text.lower()
    text = remove_html(text)
    text = remove_punctuation(text)
    tokens = tokenize(text)
    tokens = remove_stopwords(tokens)
    return ' '.join(tokens)

corpus = [preprocess(t) for t in textos]

Na prática (passo a passo em Foundry)

Resumo das ações concretas que vais executar em Microsoft Foundry:

1. Importar dados: carregar o conjunto rotulado (CSV, parquet) para o workspace de dados de Foundry e validar a integridade.
2. Explorar e limpar: usar notebooks ou as ferramentas de preparação de dados para inspecionar rótulos desbalanceados, remover duplicados e aplicar o pré-processamento.
3. Gerar features: optar por BoW/TF-IDF ou embeddings. Para um rápido protótipo, gera TF-IDF; para melhores resultados, obtém embeddings com um modelo suportado por Foundry e usa-os como input do classificador.
4. Treinar: criar um experimento de treino que utilize um algoritmo (ex.: Logistic Regression, XGBoost) ou um modelo supervisionado sobre embeddings. Configura checkpoints e validação cruzada, se aplicável.
5. Avaliar: gerar métricas por classe e matriz de confusão. Examina exemplos mal classificados para identificar padrões (por exemplo, rótulos ambíguos).
6. Publicar endpoint: empacota o pipeline de pré-processamento + modelo como um endpoint de inferência em Foundry; testa com exemplos reais antes da produção.

Exemplo de avaliação em pseudo-código (notebook):

from sklearn.metrics import classification_report, confusion_matrix
preds = model.predict(X_test)
print(classification_report(y_test, preds))
print(confusion_matrix(y_test, preds))

Erros comuns

1) Classes desbalanceadas: treinar sem tratar o desbalanceamento (undersampling/oversampling/ponderação de classes) conduz a métricas enganadoras (alta accuracy mas má deteção das classes menos representadas).

2) Fuga de dados (data leakage): incluir metadata ou informação do futuro no treino (por exemplo, campos derivados do rótulo) ou não separar corretamente conjuntos de treino/validação/teste falseia a avaliação.

3) Confiar apenas numa métrica global: a accuracy pode ocultar fracas precisões por classe. Usa precision/recall/F1 por rótulo e analisa a matriz de confusão.

Como praticar

Para preparar o AI-901 pratica este fluxo com pequenos datasets públicos (ex.: conjuntos de reviews, e-mails, tickets). A Microsoft fornece um Practice Assessment OFICIAL gratuito; usa-o para aferir os conhecimentos do exame. Consulta também a study guide oficial da Microsoft, que é gratuita e lista os tópicos do exame. Não uses nem partilhes materiais não oficiais como "exam dumps" — foca-te em aprender os conceitos e em aplicá-los em Foundry.

Em resumo

• Um classificador de texto mapeia entradas para rótulos; exige dados rotulados, pré-processamento e avaliação cuidada.
• Em Foundry constróis pipelines que preparam dados, geram features (TF-IDF ou embeddings), treinam e publicam endpoints de inferência.
• Evita desbalanceamento, data leakage e métricas únicas — analisa precision/recall/F1 e a matriz de confusão.
• Pratica com datasets públicos e usa o Practice Assessment oficial e a study guide gratuita da Microsoft para validar conhecimentos.