Contacta con nosotros

Temario del curso

Repaso de los fundamentos de Apache Airflow

  • Conceptos clave: DAGs, operadores y flujo de ejecución.
  • Arquitectura y componentes de Airflow.
  • Comprensión de casos de uso avanzados y flujos de trabajo.

Creación de Operadores Personalizados

  • Comprender la anatomía de un operador en Airflow.
  • Desarrollar operadores personalizados para tareas específicas.
  • Pruebas y depuración de operadores personalizados.

Conectores (Hooks) y Sensores Personalizados

  • Implementación de conectores para la integración con sistemas externos.
  • Creación de sensores para monitorear disparadores externos.
  • Mejora de la interactividad del flujo de trabajo mediante sensores personalizados.

Desarrollo de Plugins de Airflow

  • Comprensión de la arquitectura de plugins.
  • Diseño de plugins para extender la funcionalidad de Airflow.
  • Mejores prácticas para gestionar y desplegar plugins.

Integración de Airflow con Sistemas Externos

  • Conexión de Airflow a bases de datos, APIs y servicios en la nube.
  • Uso de Airflow para flujos de trabajo ETL y procesamiento de datos en tiempo real.
  • Gestión de dependencias entre Airflow y sistemas externos.

Depuración y Monitoreo Avanzados

  • Uso de registros (logs) y métricas de Airflow para resolver problemas.
  • Configuración de alertas y notificaciones para incidencias en los flujos de trabajo.
  • Aprovechamiento de herramientas de monitoreo externas con Airflow.

Optimización del Rendimiento y la Escalabilidad

  • Escalado de Airflow utilizando ejecutores Celery y Kubernetes.
  • Optimización del uso de recursos en flujos de trabajo complejos.
  • Estrategias para alta disponibilidad y tolerancia a fallos.

Estudios de Caso y Aplicaciones en el Mundo Real

  • Exploración de casos de uso avanzados en ingeniería de datos y DevOps.
  • Estudio de caso: Implementación de un operador personalizado para ETL a gran escala.
  • Mejores prácticas para gestionar flujos de trabajo a nivel empresarial.

Resumen y Próximos Pasos

Requerimientos

  • Sólida comprensión de los fundamentos de Apache Airflow, incluyendo DAGs (Gráficos Acíclicos Dirigidos), operadores y arquitectura de ejecución.
  • Conocimientos avanzados de programación en Python.
  • Experiencia integrando sistemas de datos y orquestación de flujos de trabajo.

Público objetivo

  • Ingenieros de datos.
  • Ingenieros DevOps.
  • Arquitectos de software.
 21 Horas

Número de participantes


Precio por participante

Reseñas (1)

Próximos cursos

Categorías Relacionadas