Flujos de trabajo de LLM multimodal en Vertex AI

Introducción a los LLM multimodales en Vertex AI

• Resumen de las capacidades multimodales en Vertex AI.
• Modelos Gemini y modalidades admitidas.
• Casos de uso en empresas e investigación.

Configuración del entorno de desarrollo

• Configuración de Vertex AI para flujos de trabajo multimodales.
• Trabajo con conjuntos de datos a través de distintas modalidades.
• Laboratorio práctico: configuración del entorno y preparación del conjunto de datos.

Ventanas de contexto largas y razonamiento avanzado

• Comprensión de los flujos de trabajo de contexto largo.
• Casos de uso en planificación y toma de decisiones.
• Laboratorio práctico: implementación de análisis de contexto largo.

Diseño de flujos de trabajo cruzados entre modalidades

• Combinación del análisis de texto, audio e imágenes.
• Cadena de pasos multimodales dentro de las canalizaciones.
• Laboratorio práctico: diseño de una canalización multimodal.

Uso de los parámetros de la API Gemini

• Configuración de entradas y salidas multimodales.
• Optimización de la inferencia y la eficiencia.
• Laboratorio práctico: ajuste fino de los parámetros de la API Gemini.

Aplicaciones avanzadas e integraciones

• Agentes y asistentes interactivos multimodales.
• Integración de APIs y herramientas externas.
• Laboratorio práctico: construcción de una aplicación multimodal.

Evaluación e iteración

• Pruebas del rendimiento multimodal.
• Métricas para precisión, alineamiento y deriva.
• Laboratorio práctico: evaluación de flujos de trabajo multimodales.

Resumen y próximos pasos