AI-901: comprender y aplicar LLMs con Microsoft Foundry

Esta lección se centra en la competencia de comprender y aplicar Large Language Models (LLMs) usando Microsoft Foundry, una habilidad central para el AI-901. Saber qué son los LLMs, cuándo son la opción correcta y cómo integrarlos de forma segura es útil en el examen y en escenarios reales de desarrollo de soluciones de IA.

Lo que necesitas saber

Large Language Models (LLMs) son modelos entrenados con grandes cantidades de texto para predecir y generar lenguaje natural. Se utilizan para tareas como generación de texto, resumen, traducción, clasificación de texto y conversación. En el contexto de Microsoft Foundry (que integra capacidades de IA y modelos preentrenados), la competencia requiere que entiendas:

• Qué distingue a los LLMs de otros modelos de IA (por ejemplo modelos de visión): enfoque en texto, capacidades de razonamiento estadístico y generación continua de tokens).
• Casos de uso apropiados: generación de respuestas, asistentes conversacionales, creación de contenido, extracción de información y transformación de texto.
• Limitaciones: alucinaciones (respuestas inventadas), sensibilidad al prompt, consumo de recursos y necesidades de privacidad/seguridad.

Ejemplo práctico: pedir a un LLM que resuma políticas internas. El LLM puede producir un resumen coherente, pero también puede omitir puntos críticos o inventar detalles. Por tanto, es necesario validar con reglas, verificación de hechos y control de confidencialidad.

Cómo funciona

Resumen técnico simple y práctico sobre el funcionamiento de las integraciones LLM en Foundry:

1. Entrada (prompt): texto del usuario, posiblemente con contexto adicional (instrumentación con embeddings/bases de conocimiento).
2. Tokenización: el texto se convierte en tokens que el modelo procesa.
3. Inferencia por el LLM: predicción de tokens subsecuentes para generar la respuesta.
4. Postprocesamiento: filtrado, seguridad (detección de contenido sensible) y formato antes de entregar al usuario.

En la práctica, Foundry actúa como capa de orquestación: permite elegir un modelo (por ejemplo un modelo en la oferta de Microsoft o un modelo customizado), gestionar llamadas, aplicar políticas de seguridad y monitorizar costes y uso.

// Exemplo conceptual (pseudocódigo) de requisição a um LLM via API em Foundry
request = {
  model: "nome_do_modelo",
  prompt: "Resume a política X em 3 pontos claros:",
  max_tokens: 200,
  temperature: 0.2
}
response = foundry.llm.generate(request)
summary = response.text
// Aplicar validações adicionais
if (containsSensitiveInfo(summary)) {
  redact(summary)
}
return summary

En la práctica

Paso a paso para una integración simple, orientada a un escenario de examen/práctico:

1. Definir el caso de uso: elegir tarea (p. ej. resumen de documentos internos).
2. Seleccionar modelo: en Foundry, evaluar trade‑offs (coste vs. capacidad vs. latencia). Para tareas de precisión, utilizar modelos con temperatura baja.
3. Construir prompts robustos: incluir instrucciones claras, ejemplos (few‑shot) y restricciones (longitud, formato de salida).
4. Añadir capas de seguridad: filtrado de entrada/salida, detección de datos sensibles y registro restringido.
5. Implementar validación humana: flujos de aprobación para outputs críticos.

Ejemplo de prompt robusto (estándar):

"You are a helpful assistant. Summarise the following document in 3 bullet points, each with at most 20 words. If the document contains confidential details, respond: 'CONFIDENTIAL — human review required.' Document: "

Errores comunes

Aquí están las trampas frecuentes al trabajar con LLMs en Foundry:

• Confiar ciegamente en los outputs: no validar hechos ni implementar revisión humana para outputs críticos.
• Prompts vagos o demasiado abiertos: producen respuestas inconsistentes o irrelevantes; se necesita especificidad y ejemplos.
• Ignorar la gobernanza de datos: enviar datos sensibles a modelos sin aplicar cifrado, redacción o residir en entornos con cumplimiento aprobado.

Cómo practicar

Para consolidar esta competencia, usa los recursos oficiales de Microsoft: realiza el Practice Assessment OFICIAL (gratuito) para AI-901 y sigue la Study Guide oficial (gratuita) que cubre conceptos de LLMs e integraciones. Practica en labs con Foundry (o entornos de demostración) implementando pequeños flujos: resumen, clasificación y un asistente con validación humana. No utilices ni consultes exam dumps — utiliza solo los recursos oficiales para practicar.

En resumen

• Los LLMs generan y transforman texto; son útiles para resumen, conversación y generación de contenido.
• Foundry orquesta modelos, políticas de seguridad y monitorización; elegir el modelo adecuado y ajustar prompts es crítico.
• Implementa validación humana, filtrado de salida y protecciones para datos sensibles para minimizar riesgos de alucinación y exposición.
• Practica con los recursos oficiales de Microsoft: Practice Assessment y Study Guide gratuitos.