Programa del Curso

Introducción

Scala Revisión de la programación en profundidad

  • Sintaxis y estructura
  • Control de caudal y funciones

Componentes internos de Spark

  • Conjuntos de datos distribuidos resistentes (RDD)
  • Script de Spark para graficar en clúster

Descripción general de Spark Streaming

  • Arquitectura de streaming
  • Intervalos en streaming
  • Tolerancia a fallos

Preparación del entorno de desarrollo

  • Instalación y configuración de Apache Spark
  • Instalación y configuración del IDE Scala
  • Instalación y configuración de JDK

Spark Streaming De principiante a avanzado

  • Trabajar con RDD clave/valor
  • Filtrado de RDD's
  • Mejora de los scripts de Spark con expresiones regulares
  • Uso compartido de datos en un clúster
  • Trabajar con conjuntos de datos de red
  • Implementación de algoritmos BFS
  • Creación de scripts de controlador de Spark
  • Seguimiento en tiempo real con scripts
  • Escritura de aplicaciones continuas
  • Regresión lineal de streaming
  • Uso de la biblioteca de Spark Machine Learning

Spark y clústeres

  • Agrupación de dependencias y scripts de Spark mediante la herramienta SBT
  • Uso de EMR para ilustrar clústeres
  • Optimización mediante la partición de RDD
  • Uso de registros de Spark

Integración en Spark Streaming

  • Integración de Apache Kafka y trabajo con temas de Kafka
  • Integración de Apache Fume y trabajo con configuraciones de Flume basadas en pull/push
  • Escritura de una clase receptora personalizada
  • Integración Cassandra y exposición de datos como servicios en tiempo real

En producción

  • Empaquetado de una aplicación y ejecución con Spark-Submit
  • Solución de problemas, ajuste y depuración de clústeres y trabajos de Spark

Resumen y conclusión

Requerimientos

  • Programming y experiencia en scripting

Audiencia

  • Ingenieros de Software
  21 horas
 

Número de participantes


Comienza

Termina


Dates are subject to availability and take place between 09:30 and 16:30.
Los cursos de formación abiertos requieren más de 5 participantes.

Testimonios (5)

Cursos Relacionados

Categorías Relacionadas