Contacta con nosotros

Temario del curso

Introducción al escalado de Ollama

  • Arquitectura de Ollama y consideraciones para el escalado.
  • Cuellos de botella comunes en despliegues multiusuario.
  • Mejores prácticas para preparar la infraestructura.

Asignación de recursos y optimización de GPU

  • Estrategias eficientes de utilización de CPU/GPU.
  • Consideraciones de memoria y ancho de banda.
  • Límites de recursos a nivel de contenedor.

Despliegue con contenedores y Kubernetes

  • Contenerización de Ollama con Docker.
  • Ejecución de Ollama en clústeres de Kubernetes.
  • Balanceo de carga y descubrimiento de servicios.

Escalar automáticamente y agrupamiento (batching)

  • Diseño de políticas de escalado automático para Ollama.
  • Técnicas de inferencia por lotes para optimizar el rendimiento.
  • Compensación entre latencia y rendimiento.

Optimización de la latencia

  • Perfilamiento del rendimiento de la inferencia.
  • Estrategias de caché y calentamiento del modelo.
  • Reducción de la sobrecarga de E/S y comunicación.

Monitoreo y observabilidad

  • Integración de Prometheus para métricas.
  • Creación de tableros con Grafana.
  • Alertas y respuesta a incidentes en la infraestructura de Ollama.

Gestión de costos y estrategias de escalado

  • Asignación de GPU consciente del costo.
  • Consideraciones entre despliegue en la nube versus on-premise.
  • Estrategias para un escalado sostenible.

Resumen y próximos pasos

Requerimientos

  • Experiencia en administración de sistemas Linux.
  • Conocimientos sobre contenedores y orquestación.
  • Familiaridad con el despliegue de modelos de aprendizaje automático.

Público objetivo

  • Ingenieros de DevOps.
  • Equipos de infraestructura de ML.
  • Ingenieros de confiabilidad del sitio (SRE).
 21 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas