Contacta con nosotros

Temario del curso

Introducción a los Modelos de Lenguaje Grande (LLM) de Código Abierto

  • ¿Qué son los modelos de peso abierto y por qué son importantes?
  • Resumen de LLaMA, Mistral, Qwen y otros modelos comunitarios.
  • Casos de uso para despliegues privados, in situ o seguros.

Configuración del Entorno y Herramientas

  • Instalación y configuración de las bibliotecas Transformers, Datasets y PEFT.
  • Elección del hardware adecuado para el ajuste fino.
  • Carga de modelos preentrenados desde Hugging Face u otros repositorios.

Preparación y Preprocesamiento de Datos

  • Formatos de conjuntos de datos (ajuste de instrucciones, datos de chat, solo texto).
  • Tokenización y gestión de secuencias.
  • Creación de conjuntos de datos personalizados y cargadores de datos.

Técnicas de Ajuste Fino

  • Ajuste fino completo estándar versus métodos eficientes en parámetros.
  • Aplicación de LoRA y QLoRA para un ajuste eficiente.
  • Uso de la API Trainer para experimentación rápida.

Evaluación y Optimización del Modelo

  • Evaluación de modelos ajustados con métricas de generación y precisión.
  • Gestión del sobreajuste, generalización y conjuntos de validación.
  • Consejos de optimización del rendimiento y registro (logging).

Despliegue y Uso Privado

  • Guardar y cargar modelos para inferencia.
  • Implementación de modelos ajustados en entornos empresariales seguros.
  • Estrategias de implementación in situ versus en la nube.

Casos de Estudio y Usos Prácticos

  • Ejemplos de uso empresarial de LLaMA, Mistral y Qwen.
  • Manejo del ajuste fino multilingüe y específico del dominio.
  • Discusión: Compensaciones entre modelos abiertos y cerrados.

Resumen y Próximos Pasos

Requerimientos

  • Comprensión de los modelos de lenguaje grande (LLM) y su arquitectura.
  • Experiencia con Python y PyTorch.
  • Familiaridad básica con el ecosistema de Hugging Face.

Audiencia

  • Profesionales de ML.
  • Desarrolladores de IA.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas