Ponte en Contacto
 Duración 35 horas

Temario del curso

Introducción y Fundamentos del Diagnóstico

  • Resumen de los modos de fallo en sistemas LLM y problemas específicos de Ollama
  • Establecimiento de experimentos reproducibles y entornos controlados
  • Conjunto de herramientas de depuración: registros locales, capturas de solicitud/respuesta y entornos aislados

Reproducción y Aislamiento de Fallos

  • Técnicas para crear ejemplos mínimos de fallo y semillas
  • Interacciones con estado vs sin estado: aislamiento de errores relacionados con el contexto
  • Determinismo, aleatoriedad y control del comportamiento no determinista

Evaluación del Comportamiento y Métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y sustitutos de la perplejidad
  • Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas
  • Comprobaciones de fidelidad específicas para cada tarea y criterios de aceptación

Pruebas Automatizadas y Regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo
  • Creación de suites de regresión y líneas base de ejemplos de referencia
  • Integración CI/CD para actualizaciones de modelos de Ollama y puertas de validación automatizadas

Observabilidad y Monitoreo

  • Registro estructurado, trazas distribuidas y ID de correlación
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
  • Alertas, paneles de control y SLIs/SLOs para servicios respaldados por modelos

Análisis Avanzado de la Causa Raíz

  • Seguimiento de prompts graficados, llamadas a herramientas y flujos de varios turnos
  • Diagnóstico comparativo A/B y estudios de ablación
  • Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por el conjunto de datos

Seguridad, Robustez y Estrategias de Remediación

  • Medidas de mitigación: filtrado, anclaje, aumento de la recuperación y estructuración de prompts
  • Patrones de reversión, despliegue canario y despliegue por fases para actualizaciones de modelos
  • Análisis posterior a incidentes, lecciones aprendidas y ciclos de mejora continua

Resumen y Próximos Pasos

Requerimientos

  • Experiencia sólida en el desarrollo y despliegue de aplicaciones de LLM
  • Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos
  • Manejo de Python, Docker y herramientas básicas de observabilidad

Audiencia

  • Ingenieros de IA
  • Profesionales de ML Ops
  • Equipos de QA responsables de sistemas LLM en producción

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas