Almacenes de Datos: Conceptos, Diseño e Implementación

Esta formación en vivo con instructor en <ubicación> (en línea o presencial) está dirigida a profesionales de datos de nivel avanzado que deseen optimizar sus flujos de trabajo de procesamiento de datos, garantizar la integridad de los datos e implementar soluciones robustas de lakehouse que puedan manejar las complejidades de las aplicaciones modernas de big data.

Al final de esta formación, los participantes podrán:

• Obtener una comprensión profunda de la arquitectura de Iceberg, incluida la gestión de metadatos y el diseño de archivos.
• Configurar Iceberg para un rendimiento óptimo en diversos entornos e integrarlo con múltiples motores de procesamiento de datos.
• Gestionar tablas Iceberg a gran escala, realizar cambios de esquema complejos y manejar la evolución de particiones.
• Dominar técnicas para optimizar el rendimiento de las consultas y la eficiencia del escaneo de datos en conjuntos de datos grandes.
• Implementar mecanismos para garantizar la consistencia de los datos, gestionar garantías transaccionales y manejar fallos en entornos distribuidos.

Esta formación en vivo impartida por un instructor en Ecuador (online o en las instalaciones) está dirigida a profesionales de los datos con nivel básico que desean adquirir los conocimientos y habilidades necesarios para utilizar eficazmente Apache Iceberg en la gestión de conjuntos de datos a gran escala, garantizar la integridad de los datos y optimizar los flujos de procesamiento.

Al finalizar esta formación, los participantes serán capaces de:

• Comprender a fondo la arquitectura, características y ventajas de Apache Iceberg.
• Conocer los formatos de tabla, el particionamiento, la evolución del esquema y las capacidades de viaje en el tiempo.
• Instalar y configurar Apache Iceberg en diferentes entornos.
• Crear, gestionar y manipular tablas Iceberg.
• Entender el proceso de migración de datos desde otros formatos de tabla hacia Iceberg.

Esta formación en vivo, impartida por un instructor en <ubicación> (en línea o presencial), está dirigida a profesionales de nivel intermedio en ciencia de datos e ingeniería que desean utilizar Google Colab y Apache Spark para el procesamiento y análisis de Big Data.

Al finalizar esta formación, los participantes serán capaces de:

• Configurar un entorno de Big Data utilizando Google Colab y Spark.
• Procesar y analizar conjuntos de datos grandes con eficiencia mediante Apache Spark.
• Visualizar Big Data en un entorno colaborativo.
• Integrar Apache Spark con herramientas basadas en la nube.

Los avances tecnológicos y el aumento en la cantidad de información están transformando la forma en que se llevan a cabo los negocios en muchas industrias, incluido el gobierno. Las tasas de generación de datos gubernamentales y de archivo digital están en aumento debido al rápido crecimiento de dispositivos móviles y aplicaciones, sensores inteligentes, soluciones de computación en la nube y portales dirigidos a los ciudadanos. A medida que la información digital se expande y se vuelve más compleja, la gestión, procesamiento, almacenamiento, seguridad y disposición de la información también se vuelven más complejas. Nuevas herramientas de captura, búsqueda, descubrimiento y análisis están ayudando a las organizaciones a obtener insights (conocimientos) a partir de sus datos no estructurados. El mercado gubernamental está en un punto de inflexión, dándose cuenta de que la información es un activo estratégico, y el gobierno necesita proteger, aprovechar y analizar tanto la información estructurada como la no estructurada para servir mejor y cumplir con los requisitos de la misión. Mientras los líderes gubernamentales se esfuerzan por evolucionar hacia organizaciones impulsadas por datos para cumplir exitosamente su misión, están sentando las bases para correlacionar dependencias entre eventos, personas, procesos e información.

Las soluciones gubernamentales de alto valor se crearán a partir de una combinación de las tecnologías más disruptivas:

• Dispositivos móviles y aplicaciones
• Servicios en la nube
• Tecnologías de negocio social y redes
• Big Data y analítica

El Big Data es una de las soluciones inteligentes de la industria y permite al gobierno tomar mejores decisiones actuando sobre patrones revelados mediante el análisis de grandes volúmenes de datos —relacionados y no relacionados, estructurados y no estructurados.

Pero lograr estos avances requiere mucho más que simplemente acumular cantidades masivas de datos. "Dar sentido a estos volúmenes de Big Data requiere herramientas y tecnologías de vanguardia que puedan analizar y extraer conocimientos útiles de flujos vastos y diversos de información", escribieron Tom Kalil y Fen Zhao de la Oficina de Política de Ciencia y Tecnología de la Casa Blanca en una publicación en el blog de OSTP.

La Casa Blanca dio un paso hacia la ayuda a las agencias para encontrar estas tecnologías cuando estableció la Iniciativa Nacional de Investigación y Desarrollo de Big Data en 2012. La iniciativa incluyó más de $200 millones para aprovechar al máximo la explosión del Big Data y las herramientas necesarias para analizarlo.

Los desafíos que presenta el Big Data son casi tan formidables como su promesa es alentadora. Almacenar datos eficientemente es uno de estos desafíos. Como siempre, los presupuestos son ajustados, por lo que las agencias deben minimizar el costo por megabyte del almacenamiento y mantener los datos dentro de un fácil acceso para que los usuarios puedan obtenerlos cuando lo deseen y cómo lo necesiten. Respalda masivas cantidades de datos aumenta el desafío.

Analizar los datos de manera efectiva es otro gran desafío. Muchas agencias emplean herramientas comerciales que les permiten pasar por encima de las montañas de datos, identificando tendencias que pueden ayudarles a operar con mayor eficiencia. (Un reciente estudio de MeriTalk descubrió que los ejecutivos de TI federales creen que el Big Data podría ayudar a las agencias a ahorrar más de $500 mil millones mientras también cumplen con los objetivos de la misión).

Las herramientas de Big Data desarrolladas a medida también están permitiendo a las agencias abordar la necesidad de analizar sus datos. Por ejemplo, el Grupo de Analítica de Datos Computacionales del Laboratorio Nacional Oak Ridge ha puesto su sistema de analítica de datos Piranha a disposición de otras agencias. El sistema ha ayudado a investigadores médicos a encontrar una conexión que puede alertar a los médicos sobre aneurismas aórticos antes de que ocurran. También se utiliza para tareas más comunes, como filtrar currículos para conectar candidatos con gerentes de contratación.

Los participantes que completen esta formación en vivo con instructor en Ecuador ganarán una comprensión práctica y del mundo real de Big Data y sus tecnologías, metodologías y herramientas relacionadas.

Los participantes tendrán la oportunidad de poner en práctica este conocimiento mediante ejercicios prácticos. La interacción grupal y la retroalimentación del instructor son componentes importantes de la clase.

El curso comienza con una introducción a los conceptos elementales de Big Data, luego avanza hacia los lenguajes de programación y las metodologías utilizadas para realizar el Análisis de Datos. Finalmente, discutimos las herramientas e infraestructura que permiten el almacenamiento de Big Data, el Procesamiento Distribuido y la Escalabilidad.

Esta formación en vivo con instructores (en línea o presencial) está dirigida a ingenieros de datos, analistas de datos y profesionales que desean utilizar Databricks y PySpark para construir pipelines de datos escalables y migrar flujos de trabajo SQL existentes.

Apache NiFi es una plataforma de integración de datos y procesamiento de eventos de código abierto basada en flujos. Permite el enrutamiento, la transformación y la mediación automatizados entre sistemas dispares, con un control fino y una interfaz web.

Esta formación en vivo impartida por un instructor (presencial o remota) está dirigida a administradores e ingenieros de nivel intermedio que deseen implementar, gestionar, asegurar y optimizar los flujos de datos de NiFi en entornos de producción.

Al finalizar esta formación, los participantes podrán:

• Instalar, configurar y mantener clústeres de Apache NiFi.
• Diseñar y gestionar flujos de datos desde diversas fuentes y destinos.
• Implementar lógica de automatización, enrutamiento y transformación de flujos.
• Optimizar el rendimiento, monitorear operaciones y resolver incidencias.

Formato del Curso

• Conferencia interactiva con discusión sobre arquitecturas del mundo real.
• Prácticas de laboratorio: construcción, implementación y gestión de flujos.
• Ejercicios basados en escenarios en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, contáctenos para coordinarlo.

Esta formación proporciona una introducción práctica para construir flujos de trabajo escalables de procesamiento de datos y aprendizaje automático utilizando PySpark. Los participantes aprenden cómo Apache Spark opera dentro de los ecosistemas modernos de Big Data y cómo procesar conjuntos de datos grandes de manera eficiente aplicando principios de computación distribuida.

Esta formación en vivo impartida por un instructor en <ubicación> (en línea o presencial) está dirigida a ingenieros que desean configurar e implementar un sistema de Apache Spark para procesar grandes volúmenes de datos.

Al finalizar esta formación, los participantes serán capaces de:

• Instalar y configurar Apache Spark.
• Procesar y analizar rápidamente conjuntos de datos muy grandes.
• Comprender las diferencias entre Apache Spark y Hadoop MapReduce, así como saber cuándo usar cada uno.
• Integrar Apache Spark con otras herramientas de aprendizaje automático.

Esta formación en vivo con instructores en Ecuador (en línea o presencial) está dirigida a administradores de sistemas de nivel principiante e intermedio que deseen desplegar, mantener y optimizar clústeres de Spark.

Al finalizar esta capacitación, los participantes podrán:

• Instalar y configurar Apache Spark en diversos entornos.
• Gestionar los recursos del clúster y monitorizar las aplicaciones de Spark.
• Optimizar el rendimiento de los clústeres de Spark.
• Implementar medidas de seguridad y garantizar alta disponibilidad.
• Depurar y solucionar problemas comunes de Spark.

La curva de aprendizaje de Apache Spark es gradualmente ascendente al principio, y se requiere mucho esfuerzo para obtener los primeros resultados. Este curso tiene como objetivo superar esta primera etapa difícil. Tras completar este curso, los participantes comprenderán los conceptos básicos de Apache Spark, sabrán diferenciar claramente entre RDD y DataFrame, aprenderán a utilizar las API de Python y Scala, entenderán el funcionamiento de ejecutores y tareas, entre otros aspectos. Además, siguiendo las mejores prácticas, el curso se centra en la implementación en entornos cloud, específicamente en Databricks y AWS. Los estudiantes también comprenderán las diferencias entre AWS EMR y AWS Glue, uno de los servicios más recientes de AWS basados en Spark.

PÚBLICO OBJETIVO:

Ingenieros de Datos, DevOps, Científicos de Datos

En este taller en vivo y dirigido por un instructor en Ecuador, los participantes aprenderán cómo utilizar Python y Spark conjuntamente para analizar Big Data mientras realizan ejercicios prácticos.

Al finalizar esta capacitación, los participantes serán capaces de:

• Aprender a utilizar Spark con Python para analizar grandes volúmenes de datos.
• Realizar ejercicios que imitan casos reales del mundo laboral.
• Utilizar diversas herramientas y técnicas para el análisis de Big Data mediante PySpark.

Esta formación en vivo impartida por un instructor en <ubicación> (en línea o presencial) está dirigida a desarrolladores que desean utilizar e integrar Spark, Hadoop y Python para procesar, analizar y transformar conjuntos de datos grandes y complejos.

Al finalizar esta formación, los participantes podrán:

• Configurar el entorno necesario para comenzar a procesar big data con Spark, Hadoop y Python.
• Comprender las características, componentes principales y arquitectura de Spark y Hadoop.
• Aprender cómo integrar Spark, Hadoop y Python para el procesamiento de datos masivos.
• Explorar las herramientas del ecosistema de Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop y Flume).
• Crear sistemas de recomendación basados en filtrado colaborativo similares a los utilizados por Netflix, YouTube, Amazon, Spotify y Google.
• Utilizar Apache Mahout para escalar algoritmos de aprendizaje automático.

Stratio es una plataforma centrada en los datos que integra big data, inteligencia artificial y gobernanza en una sola solución. Sus módulos Rocket e Intelligence permiten la exploración rápida de datos, transformación y análisis avanzado en entornos empresariales.

Esta formación en vivo y dirigida por un instructor (en línea o presencial) está dirigida a profesionales de datos de nivel intermedio que desean utilizar los módulos Rocket e Intelligence de Stratio eficazmente con PySpark, centrándose en estructuras de bucle, funciones definidas por el usuario y lógica avanzada de datos.

Al finalizar esta formación, los participantes serán capaces de:

• Navegar y trabajar dentro de la plataforma Stratio utilizando los módulos Rocket e Intelligence.
• Aplicar PySpark en el contexto de ingesta de datos, transformación y análisis.
• Utilizar bucles y lógica condicional para controlar flujos de trabajo de datos y tareas de ingeniería de características.
• Crear y gestionar funciones definidas por el usuario (UDF) para operaciones de datos reutilizables en PySpark.

Formato del curso

• Conferencia interactiva y discusión.
• Muchas ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, por favor contáctenos para coordinar.