Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Introducción a Mistral a gran escala
- Descripción general de Mistral Medium 3.
- Compromisos entre rendimiento y costo.
- Consideraciones a escala empresarial.
Patrones de implementación para LLM
- Topologías de servicio y decisiones de diseño.
- Implementaciones locales frente a la nube.
- Estrategias híbridas y multinube.
Técnicas de optimización de inferencia
- Estrategias de lote para alto rendimiento.
- Métodos de cuantización para reducción de costos.
- Aceleradores y utilización de GPU.
Escala y fiabilidad
- Escalado de clústeres de Kubernetes para inferencia.
- Equilibramiento de carga y enrutamiento de tráfico.
- Tolerancia a fallos y redundancia.
Marcos de ingeniería de costos
- Medición de la eficiencia de costos de inferencia.
- Adecuación de recursos de cómputo y memoria.
- Monitoreo y alertas para optimización.
Seguridad y cumplimiento en producción
- Seguridad de implementaciones y APIs.
- Consideraciones de gobernanza de datos.
- Cumplimiento regulatorio en la ingeniería de costos.
Estudios de caso y mejores prácticas
- Arquitecturas de referencia para Mistral a gran escala.
- Lecciones aprendidas de implementaciones empresariales.
- Tendencias futuras en la inferencia eficiente de LLM.
Resumen y próximos pasos
Requerimientos
- Sólido conocimiento de la implementación de modelos de aprendizaje automático.
- Experiencia con infraestructura en la nube y sistemas distribuidos.
- Conocimiento de estrategias de ajuste de rendimiento y optimización de costos.
Público objetivo
- Ingenieros de infraestructura.
- Arquitectos de la nube.
- Líderes de MLOps.
