Redes Neuronales Artificiales, Aprendizaje Automático y Pensamiento Profundo

DÍA 1 - REDES NEURONALES ARTIFICIALES

Introducción y estructura de las RNN.

• Neuronas biológicas y neuronas artificiales.
• Modelo de una RNN.
• Funciones de activación utilizadas en las RNN.
• Clases típicas de arquitecturas de red.

Fundamentos matemáticos y mecanismos de aprendizaje.

• Repaso de álgebra de vectores y matrices.
• Conceptos de espacio de estados.
• Conceptos de optimización.
• Aprendizaje por corrección de error.
• Aprendizaje basado en memoria.
• Aprendizaje hebbiano.
• Aprendizaje competitivo.

Perceptrones de capa simple.

• Estructura y aprendizaje de perceptrones.
• Clasificador de patrones: introducción y clasificadores de Bayes.
• El perceptrón como clasificador de patrones.
• Convergencia del perceptrón.
• Limitaciones de los perceptrones.

RNN de propagación hacia adelante (Feedforward).

• Estructuras de redes Feedforward multicapa.
• Algoritmo de retropropagación (Back propagation).
• Retropropagación: entrenamiento y convergencia.
• Aproximación funcional con retropropagación.
• Cuestiones prácticas y de diseño del aprendizaje por retropropagación.

Redes de Funciones Base Radial (RBF).

• Separabilidad de patrones e interpolación.
• Teoría de regularización.
• Regularización y redes RBF.
• Diseño y entrenamiento de redes RBF.
• Propiedades de aproximación de las RBF.

Aprendizaje competitivo y RNN autoorganizativas.

• Procedimientos generales de agrupamiento (clustering).
• Cuantización vectorial de aprendizaje (LVQ).
• Algoritmos y arquitecturas de aprendizaje competitivo.
• Mapas de características autoorganizativas.
• Propiedades de los mapas de características.

Redes Neuronales Fuzzy.

• Sistemas neuro-fuzzy.
• Fundamentos de conjuntos y lógica fuzzy.
• Diseño de sistemas fuzzy.
• Diseño de RNN fuzzy.

Aplicaciones

• Se discutirán algunos ejemplos de aplicaciones de Redes Neuronales, sus ventajas y problemas.

DÍA 2 - MACHINE LEARNING

• Marco de aprendizaje PAC
  • Garantías para conjuntos de hipótesis finitos: caso consistente
  • Garantías para conjuntos de hipótesis finitos: caso inconsistente
  • Generalidades
    • Escenarios deterministas vs. estocásticos
    • Ruido de error de Bayes
    • Errores de estimación y aproximación
    • Selección de modelos
• Complejidad Rademacher y Dimensión VC
• Compensación sesgo-variabilidad (Bias-Variance tradeoff)
• Regularización
• Sobreajuste (Over-fitting)
• Validación
• Máquinas de Vector de Soporte (SVM)
• Kriging (Regresión de Proceso Gaussiano)
• PCA y Kernel PCA
• Mapas de Autoorganización (SOM)
• Espacio vectorial inducido por núcleos (Kernels)
  • Núcleos de Mercer y métricas de similitud inducidas por núcleos
• Aprendizaje por refuerzo (Reinforcement Learning)

DÍA 3 - DEEP LEARNING

Se enseñará en relación con los temas cubiertos en el Día 1 y el Día 2

• Regresión logística y Softmax
• Autoencoders esparcidos (Sparse Autoencoders)
• Vectorización, PCA y Blancamiento (Whitening)
• Aprendizaje auto-entrenado (Self-Taught Learning)
• Redes profundas (Deep Networks)
• Decodificadores lineales
• Convolución y Pooling
• Codificación esparcida (Sparse Coding)
• Análisis de Componentes Independientes
• Análisis de Correlación Canónica
• Demos y aplicaciones