Contacta con nosotros

Temario del curso

Introducción a los Modelos Multimodales

  • Visión general del aprendizaje automático multimodal.
  • Aplicaciones de los modelos multimodales.
  • Desafíos en el manejo de múltiples tipos de datos.

Arquitecturas para Modelos Multimodales

  • Exploración de modelos como CLIP, Flamingo y BLIP.
  • Comprensión de los mecanismos de atención cruzada entre modalidades.
  • Consideraciones arquitectónicas para escalabilidad y eficiencia.

Preparación de Conjuntos de Datos Multimodales

  • Técnicas de recolección y anotación de datos.
  • Preprocesamiento de entradas de texto, imágenes y video.
  • Equilibrio de conjuntos de datos para tareas multimodales.

Técnicas de Ajuste Fino para Modelos Multimodales

  • Configuración de pipelines de entrenamiento para modelos multimodales.
  • Gestión de la memoria y limitaciones computacionales.
  • Manejo de la alineación entre modalidades.

Aplicaciones de Modelos Multimodales Ajustados

  • Preguntas visuales.
  • Subtitulación de imágenes y videos.
  • Generación de contenido mediante entradas multimodales.

Optimización del Rendimiento y Evaluación

  • Métricas de evaluación para tareas multimodales.
  • Optimización de latencia y rendimiento para producción.
  • Asegurar la robustez y consistencia entre modalidades.

Despliegue de Modelos Multimodales

  • Empaquetado de modelos para su despliegue.
  • Inferencia escalable en plataformas en la nube.
  • Aplicaciones e integraciones en tiempo real.

Casos de Estudio y Laboratorios Prácticos

  • Ajuste fino de CLIP para recuperación de imágenes basada en contenido.
  • Entrenamiento de un chatbot multimodal con texto y video.
  • Implementación de sistemas de recuperación cruzada entre modalidades.

Resumen y Próximos Pasos

Requerimientos

  • Domínio de programación en Python.
  • Comprensión de conceptos de aprendizaje profundo.
  • Experiencia con el ajuste fino de modelos preentrenados.

Audiencia objetivo

  • Investigadores de IA.
  • Científicos de datos.
  • Especialistas en machine learning.
 28 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas