Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a LLMOps
- LLMOps vs MLOps: desafíos únicos de la operación de LLM.
- Ciclo de vida de la aplicación LLM: prompt, evaluación, despliegue, monitoreo.
- Lista de verificación de preparación para producción en aplicaciones GenAI.
Gestión y Versionado de Prompts
- Sistemas de plantillas de prompts e inyección de variables.
- Versionado semántico para prompts con pruebas de regresión automatizadas.
- Registros de prompts y flujos de trabajo colaborativos.
Evaluación de LLM a Escala
- Dimensiones de evaluación: precisión, relevancia, seguridad y fundamentación.
- Métricas de LLM como juez (LLM-as-judge) y pipelines de evaluación humana.
- Frameworks de evaluación automatizada: RAGAS, DeepEval y evaluadores personalizados.
- Puertas de calidad en CI/CD para despliegues de LLM.
Barreras de Seguridad y Gobernanza de Contenido
- Barreras de entrada y salida: NeMo Guardrails y Guardrails AI.
- Detección de PII, filtrado de toxicidad y límites temáticos.
- Estrategias de defensa contra jailbreak e inyección de prompts.
- Red-teaming (pruebas de penetración ética) de aplicaciones LLM para asegurar la seguridad.
Observabilidad y Monitoreo de LLM
- Telemetría: uso de tokens, latencia, costos y métricas de calidad.
- Detección de deriva (drift) en salidas de LLM y espacios de embedding.
- Trazabilidad a nivel de sesión para conversaciones multi-turno de agentes.
- Paneles de control y alertas con LangSmith, Arize y OpenTelemetry.
Pasarela de IA y Orquestación de Modelos
- Enrutamiento multi-proveedor con LiteLLM y Portkey.
- Estrategias de respaldo, lógica de reintentos y disyuntores (circuit breakers).
- Selección de modelos consciente del costo y balanceo de carga.
- Limitación de velocidad (rate limiting), gestión de cuotas y gobernanza de claves API.
Optimización del Rendimiento
- Caché semántico con almacenes vectoriales y estrategias de coincidencia exacta.
- Aplicación de salida estructurada con decodificación restringida.
- Patrones de agrupamiento (batching), streaming y concurrencia.
- Optimización de latencia en proveedores de modelos.
Gobernanza, Cumplimiento y Auditoría
- Rastros de auditoría de LLM: registros de prompts, registros de respuestas y procedencia de decisiones.
- Consideraciones de residencia de datos y privacidad para APIs de LLM.
- Políticas como código (policy-as-code) para el uso de LLM dentro de las organizaciones.
- Construcción de un manual interno de operaciones de LLM.
Requerimientos
- Experiencia construyendo o integrando aplicaciones potenciadas por LLM.
- Familiaridad con Python y APIs REST.
- Comprensión básica de los conceptos de ingeniería de prompts.
Público Objetivo
- Ingenieros de ML y profesionales de MLOps que se transicionan a operaciones con LLM.
- Ingenieros de plataforma responsables de la infraestructura de LLM.
- Líderes técnicos que gestionan despliegues de GenAI en producción.
14 Horas
Reseñas (2)
Uso de prompts apropiados y eficaces
Marses Pacaldo
Curso - Generative AI and Prompt Engineering for Corporate Professionals
Traducción Automática
El estilo interactivo, los ejercicios
Tamas Tutuntzisz
Curso - Introduction to Prompt Engineering
Traducción Automática
