Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción y fundamentos de diagnóstico
- Visión general de los modos de fallo en sistemas LLM y problemas comunes específicos de Ollama
- Establecimiento de experimentos reproducibles y entornos controlados
- Herramientas de depuración: registros locales, capturas de solicitudes/respuestas y aislamiento (sandboxing)
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos mínimos de fallo y puntos de partida (seeds)
- Interacciones con estado vs. sin estado: aislamiento de errores relacionados con el contexto
- Determinismo, aleatoriedad y control del comportamiento no determinista
Evaluación conductual y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxies de perplejidad
- Evaluaciones cualitativas: puntuación con humanos en el ciclo y diseño de rúbricas
- Verificaciones de fidelidad específicas para cada tarea y criterios de aceptación
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y extremo a extremo
- Creación de suites de regresión y líneas base de ejemplos dorados (golden examples)
- Integración de CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas
Observabilidad y monitoreo
- Registros estructurados, trazas distribuidas e IDs de correlación
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
- Alertas, paneles (dashboards) e SLIs/SLOs para servicios respaldados por modelos
Análisis avanzado de la causa raíz
- Rastreo a través de grafos de prompts, llamadas a herramientas y flujos multironda
- Diagnóstico comparativo A/B y estudios de ablación
- Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por el conjunto de datos
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, fundamentación (grounding), augmentación por recuperación y andamiaje de prompts
- Patrones de retroceso, implementación canary y rollout por fases para actualizaciones de modelos
- Análisis póstumos, lecciones aprendidas y bucles de mejora continua
Resumen y próximos pasos
Requerimientos
- Sólida experiencia desarrollando e implementando aplicaciones de LLM
- Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos
- Agilidad con Python, Docker y herramientas básicas de observabilidad
Público objetivo
- Ingenieros de IA
- Profesionales de ML Ops
- Equipos de QA responsables de sistemas LLM en producción
35 Horas