Taller de Migración con Databricks: De Procedimientos Almacenados a Lakehouse (5 Días Intensivos)

Introducción, Objetivos y Estrategia de Migración

• Metas del curso, alineación con el perfil de los participantes y criterios de éxito
• Enfoques de migración de alto nivel y consideraciones de riesgo
• Configuración de espacios de trabajo (workspaces), repositorios y conjuntos de datos para el laboratorio

Día 1 — Fundamentos y Arquitectura de la Migración

• Conceptos de Lakehouse, descripción general de Delta Lake y arquitectura de Databricks
• Diferencias entre SMP (Single Machine Processing) y MPP (Massively Parallel Processing) e implicaciones para la migración
• Diseño Medallion (Bronce→Plata→Oro) y descripción general de Unity Catalog

Laboratorio del Día 1 — Traducir un Procedimiento Almacenado

• Migración práctica de un procedimiento almacenado de ejemplo a un cuaderno
• Mapeo de tablas temporales y cursores a transformaciones de DataFrame
• Validación y comparación con el resultado original

Día 2 — Delta Lake Avanzado e Ingesta Incremental

• Transacciones ACID, registros de confirmación, versionado y viaje en el tiempo (time travel)
• Auto Loader, patrones MERGE INTO, actualizacionesUpsertsy evolución del esquema
• OPTIMIZE, VACUUM, Z-ORDER, particionamiento y ajuste de almacenamiento

Laboratorio del Día 2 — Ingesta Incremental y Optimización

• Implementación de ingesta con Auto Loader y flujos de trabajo MERGE
• Aplicación de OPTIMIZE, Z-ORDER y VACUUM; validación de resultados
• Medición de las mejoras de rendimiento en lectura\/escritura

Día 3 — SQL en Databricks, Rendimiento y Depuración

• Características de SQL analítico: funciones de ventana, funciones de orden superior, manejo de JSON\/arrays
• Interpretación de la interfaz de usuario (UI) de Spark, DAGs, shuffles, etapas, tareas y diagnóstico de cuellos de botella
• Patrones de ajuste de consultas: joins por broadcast, hints, almacenamiento en caché y reducción de desbordamiento a disco (spill)

Laboratorio del Día 3 — Refactorización de SQL y Ajuste de Rendimiento

• Refactorizar un proceso SQL intensivo en Spark SQL optimizado
• Utilizar rastros de la interfaz de usuario (UI) de Spark para identificar y corregir desequilibrios de datos (skew) y problemas de shuffle
• Realizar benchmarking antes\/después y documentar los pasos de ajuste

Día 4 — PySpark Táctico: Reemplazando la Lógica Procedural

• Modelo de ejecución de Spark: driver, ejecutores (executors), evaluación perezosa y estrategias de particionamiento
• Transformación de bucles y cursores en operaciones de DataFrame vectorizadas
• Modularización, UDFs / pandas UDFs, widgets y bibliotecas reutilizables

Laboratorio del Día 4 — Refactorización de Scripts Procedurales

• Refactorizar un script ETL procedural en cuadernos PySpark modulares
• Introducir parametrización, pruebas estilo unitario y funciones reutilizables
• Revisión del código y aplicación de lista de verificación de mejores prácticas

Día 5 — Orquestación, Pipeline de Extremo a Extremo y Mejores Prácticas

• Databricks Workflows: diseño de trabajos, dependencias de tareas, activadores (triggers) y manejo de errores
• Diseño de pipelines Medallion incrementales con reglas de calidad y validación del esquema
• Integración con Git (GitHub / Azure DevOps), CI (Integración Continua) y estrategias de pruebas para lógica PySpark

Laboratorio del Día 5 — Construir un Pipeline Completo de Extremo a Extremo

• Armar el pipeline Bronce→Plata→Oro orquestado con Workflows
• Implementar registro (logging), auditoría, reintentos y validaciones automatizadas
• Ejecutar el pipeline completo, validar salidas y preparar notas de implementación

Puesta en Producción, Gobernanza y Preparación para Producción

• Mejores prácticas de gobernanza, linaje (lineage) y controles de acceso con Unity Catalog
• Costos, dimensionamiento de clústers, escalado automático y patrones de concurrencia de trabajos
• Listas de verificación de implementación, estrategias de retroceso (rollback) y creación de manuales de operación (runbooks)

Revisión Final, Transferencia de Conocimientos y Próximos Pasos

• Presentaciones de los participantes sobre el trabajo de migración y lecciones aprendidas
• Análisis de brechas, actividades recomendadas de seguimiento y entrega de materiales de formación
• Referencias, rutas adicionales de aprendizaje y opciones de soporte