Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Fundamentos de Tencent Hunyuan en Producción
- Resumen de los escenarios de servicio de modelos Tencent Hunyuan.
- Características de producción de modelos grandes y MoE.
- Bottlenecks comunes de latencia, capacidad de procesamiento y costos.
- Definición de objetivos de nivel de servicio (SLO) para cargas de trabajo de inferencia.
Arquitectura de Despliegue y Flujo de Servicio
- Componentes principales de una pila de inferencia en producción.
- Elección entre modelos de despliegue contenedorizados, on-premise y en la nube.
- Fundamentos de carga de modelos, enrutamiento de solicitudes y asignación de GPU.
- Diseño para fiabilidad y simplicidad operativa.
Optimización de Latencia en la Práctica
- Uso de motores de inferencia optimizados como TensorRT, cuando sea aplicable.
- Conceptos de KV-cache y ajuste práctico del caché.
- Reducción de la sobrecarga de inicio, calentamiento (warmup) y respuesta.
- Medición del tiempo hasta el primer token y la velocidad de generación de tokens.
Capacidad de Procesamiento (Throughput), Agrupación y Eficiencia de GPU
- Estrategias de agrupación continua y por lotes de solicitudes.
- Gestión de la concurrencia y el comportamiento de las colas.
- Mejora del uso de GPU sin afectar la experiencia del usuario.
- Manejo de solicitudes de contexto largo y cargas de trabajo mixtas.
Cuantización y Control de Costos
- Por qué es importante la cuantización para el servicio en producción.
- Compensaciones prácticas entre FP16, INT8 y otras opciones comunes de precisión.
- Equilibrio entre calidad del modelo, latencia y costos de infraestructura.
- Elaboración de una lista de verificación simple para la optimización de costos.
Operaciones, Monitoreo y Revisión de Preparación
- Disparadores de autoescalado para servicios de inferencia.
- Monitoreo de latencia, capacidad de procesamiento, uso de caché y salud de la GPU.
- Fundamentos de registro (logging), alertas y respuesta a incidentes.
- Revisión de un despliegue de referencia y creación de un plan de mejora.
Requerimientos
- Comprensión básica de los flujos de trabajo de despliegue e inferencia de modelos de lenguaje grandes (LLM).
- Experiencia con contenedores, infraestructura en la nube o on-premise y servicios basados en API.
- Conocimiento operativo de Python o tareas de ingeniería de sistemas.
Público Objetivo
- Ingenieros de ML que despliegan LLMs en producción.
- Ingenieros de plataforma responsables de servicios de inferencia basados en GPU.
- Arquitectos de soluciones que diseñan plataformas escalables de servicio de IA.
