Contacta con nosotros

Temario del curso

Fundamentos de Producción de Tencent Hunyuan

  • Panorama general de los escenarios de servicio de modelos de Tencent Hunyuan.
  • Características de producción de modelos grandes y MoE.
  • Principales cuellos de botella en latencia, capacidad de procesamiento y costos.
  • Definición de objetivos de nivel de servicio (SLO) para cargas de trabajo de inferencia.

Arquitectura de Despliegue y Flujo de Servicio

  • Componentes centrales de una pila de inferencia en producción.
  • Elección entre modelos de despliegue con contenedores, on-premise y en la nube.
  • Carga de modelos, enrutamiento de solicitudes y asignación básica de GPU.
  • Diseño orientado a la fiabilidad y la simplicidad operativa.

Optimización de Latencia en la Práctica

  • Uso de motores de inferencia optimizados como TensorRT, cuando corresponda.
  • Conceptos del KV-cache y ajuste práctico de caché.
  • Reducción de la sobrecarga en el inicio, calentamiento y respuesta.
  • Medición del tiempo hasta el primer token y la velocidad de generación de tokens.

Capacidad de Procesamiento, Agrupación de Solicitudes y Eficiencia de GPU

  • Estrategias de agrupación continua y por solicitudes (batching).
  • Gestión de la concurrencia y el comportamiento de las colas.
  • Mejora de la utilización de GPU sin perjudicar la experiencia del usuario.
  • Manejo de solicitudes de contexto largo y cargas de trabajo mixtas.

Cuantización y Control de Costos

  • Importancia de la cuantización para el servicio en producción.
  • Compensaciones prácticas entre FP16, INT8 y otras opciones de precisión comunes.
  • Equilibrio entre calidad del modelo, latencia y costos de infraestructura.
  • Elaboración de una lista de verificación sencilla para la optimización de costos.

Operaciones, Monitoreo y Revisión de Preparación

  • Disparadores del escalado automático para servicios de inferencia.
  • Monitoreo de latencia, capacidad de procesamiento, uso de caché y estado de la GPU.
  • Registros (logging), alertas y fundamentos de respuesta a incidentes.
  • Revisión de un despliegue de referencia y creación de un plan de mejoras.

Requerimientos

  • Comprensión básica de flujos de trabajo de despliegue e inferencia de modelos de lenguaje grandes (LLMs).
  • Experiencia con contenedores, infraestructura en la nube o on-premise y servicios basados en API.
  • Conocimiento funcional de Python o tareas de ingeniería de sistemas.

Audiencia

  • Ingenieros de ML que despliegan LLMs en entornos de producción.
  • Ingenieros de plataforma responsables de servicios de inferencia basados en GPU.
  • Arquitectos de soluciones que diseñan plataformas de servicio de IA escalables.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas