Seguridad OWASP GenAI

Día 1: Fundamentos y Amenazas Principales

Módulo 1: Introducción al Proyecto de Seguridad GenAI de OWASP (1 hora)

Objetivos de Aprendizaje:

• Comprender la evolución desde OWASP Top 10 hasta los desafíos de seguridad específicos de GenAI
• Explorar el ecosistema y los recursos del Proyecto de Seguridad GenAI de OWASP
• Identificar las diferencias clave entre la seguridad de aplicaciones tradicional y la seguridad de IA

Temas Cubiertos:

• Resumen de la misión y el alcance del Proyecto de Seguridad GenAI de OWASP
• Introducción al marco de Defensa contra Amenazas COMPASS
• Comprensión del panorama de seguridad de IA y los requisitos regulatorios
• Superficies de ataque de IA frente a vulnerabilidades de aplicaciones web tradicionales

Ejercicio Práctico: Configuración de la herramienta OWASP Threat Defense COMPASS y realización de una evaluación inicial de amenazas

Módulo 2: OWASP Top 10 para LLM - Parte 1 (2.5 horas)

Objetivos de Aprendizaje:

• Dominar las primeras cinco vulnerabilidades críticas de LLM
• Comprender los vectores de ataque y las técnicas de explotación
• Aplicar estrategias de mitigación prácticas

Temas Cubiertos:

LLM01: Inyección de Prompts

• Técnicas de inyección de prompts directas e indirectas
• Ataques de instrucciones ocultas y contaminación de prompts cruzados
• Ejemplos prácticos: Romper el jailbreak de chatbots y evadir las medidas de seguridad
• Estrategias de defensa: Saneamiento de entrada, filtrado de prompts, privacidad diferencial

LLM02: Divulgación de Información Sensible

• Extracción de datos de entrenamiento y fuga de prompts del sistema
• Análisis del comportamiento del modelo para la exposición de información sensible
• Implicaciones de privacidad y consideraciones de cumplimiento normativo
• Mitigación: Filtrado de salida, controles de acceso, anonimización de datos

LLM03: Vulnerabilidades de la Cadena de Suministro

• Dependencias de modelos de terceros y seguridad de complementos
• Conjuntos de datos de entrenamiento comprometidos y envenenamiento de modelos
• Evaluación de riesgos de proveedores para componentes de IA
• Prácticas seguras de despliegue y verificación de modelos

Ejercicio Práctico: Laboratorio práctico que demuestra ataques de inyección de prompts contra aplicaciones LLM vulnerables y la implementación de medidas defensivas

Módulo 3: OWASP Top 10 para LLM - Parte 2 (2 horas)

Temas Cubiertos:

LLM04: Envenenamiento de Datos y Modelos

• Técnicas de manipulación de datos de entrenamiento
• Modificación del comportamiento del modelo a través de entradas envenenadas
• Ataques de puertas traseras y verificación de la integridad de los datos
• Prevención: Pipelines de validación de datos, seguimiento del origen

LLM05: Manejo Inadecuado de la Salida

• Procesamiento inseguro de contenido generado por LLM
• Inyección de código a través de salidas generadas por IA
• Scripting entre sitios (XSS) mediante respuestas de IA
• Marcos de validación y saneamiento de salida

Ejercicio Práctico: Simulación de ataques de envenenamiento de datos e implementación de mecanismos robustos de validación de salida

Módulo 4: Amenazas Avanzadas de LLM (1.5 horas)

Temas Cubiertos:

LLM06: Agencia Excesiva

• Riesgos de toma de decisiones autónoma y violaciones de límites
• Gestión de autoridad y permisos de agentes
• Interacciones no deseadas del sistema y elevación de privilegios
• Implementación de barandillas de seguridad (guardrails) y controles de supervisión humana

LLM07: Fuga de Prompts del Sistema

• Vulnerabilidades de exposición de instrucciones del sistema
• Divulgación de credenciales y lógica a través de prompts
• Técnicas de ataque para extraer prompts del sistema
• Protección de instrucciones del sistema y configuración externa

Ejercicio Práctico: Diseño de arquitecturas de agentes seguras con controles de acceso y monitoreo adecuados

Día 2: Amenazas Avanzadas e Implementación

Módulo 5: Amenazas Emergentes de IA (2 horas)

Objetivos de Aprendizaje:

• Comprender las amenazas de seguridad de IA de vanguardia
• Implementar técnicas avanzadas de detección y prevención
• Diseñar sistemas de IA resilientes contra ataques sofisticados

Temas Cubiertos:

LLM08: Debilidades de Vectores y Embeddings

• Vulnerabilidades de sistemas RAG y seguridad de bases de datos vectoriales
• Ataques de envenenamiento de embeddings y manipulación de similitud
• Ejemplos adversarios en búsqueda semántica
• Protección de almacenes de vectores e implementación de detección de anomalías

LLM09: Desinformación y Confiabilidad del Modelo

• Detección y mitigación de alucinaciones
• Ampliación de sesgos y consideraciones de equidad
• Mecanismos de verificación de hechos y validación de fuentes
• Validación de contenido e integración de supervisión humana

LLM10: Consumo Ilimitado

• Agotamiento de recursos y ataques de denegación de servicio
• Estrategias de limitación de tasa y gestión de recursos
• Optimización de costos y controles presupuestarios
• Monitoreo de rendimiento y sistemas de alerta

Ejercicio Práctico: Construcción de un pipeline RAG seguro con protección de base de datos vectorial y detección de alucinaciones

Módulo 6: Seguridad de IA Agéntica (2 horas)

Objetivos de Aprendizaje:

• Comprender los desafíos únicos de seguridad de los agentes de IA autónomos
• Aplicar la taxonomía de IA Agéntica de OWASP a sistemas del mundo real
• Implementar controles de seguridad para entornos multi-agente

Temas Cubiertos:

• Introducción a la IA Agéntica y los sistemas autónomos
• Taxonomía de Amenazas de IA Agéntica de OWASP: Diseño de Agentes, Memoria, Planificación, Uso de Herramientas, Despliegue
• Seguridad de sistemas multi-agente y riesgos de coordinación
• Ataques de mal uso de herramientas, envenenamiento de memoria y secuestro de objetivos
• Protección de la comunicación de agentes y procesos de toma de decisiones

Ejercicio Práctico: Ejercicio de modelado de amenazas utilizando la taxonomía de IA Agéntica de OWASP en un sistema de atención al cliente multi-agente

Módulo 7: Implementación de OWASP Threat Defense COMPASS (2 horas)

Objetivos de Aprendizaje:

• Dominar la aplicación práctica de Threat Defense COMPASS
• Integrar la evaluación de amenazas de IA en los programas de seguridad organizacionales
• Desarrollar estrategias comprehensivas de gestión de riesgos de IA

Temas Cubiertos:

• Análisis en profundidad de la metodología Threat Defense COMPASS
• Integración del Bucle OODA: Observar, Orientar, Decidir, Actuar
• Mapa de amenazas con los marcos MITRE ATT&CK y ATLAS
• Construcción de Tableros de Estrategia de Resiliencia a Amenazas de IA
• Integración con herramientas y procesos de seguridad existentes

Ejercicio Práctico: Evaluación completa de amenazas utilizando COMPASS para un escenario de despliegue de Microsoft Copilot

Módulo 8: Implementación Práctica y Mejores Prácticas (2.5 horas)

Objetivos de Aprendizaje:

• Diseñar arquitecturas de IA seguras desde cero
• Implementar monitoreo y respuesta a incidentes para sistemas de IA
• Crear marcos de gobernanza para la seguridad de IA

Temas Cubiertos:

Ciclo de Vida de Desarrollo Seguro de IA:

• Principios de seguridad por diseño (security-by-design) para aplicaciones de IA
• Prácticas de revisión de código para integraciones de LLM
• Metodologías de prueba y escaneo de vulnerabilidades
• Seguridad del despliegue y endurecimiento de producción

Monitoreo y Detección:

• Requisitos de registro y monitoreo específicos de IA
• Detección de anomalías para sistemas de IA
• Procedimientos de respuesta a incidentes para eventos de seguridad de IA
• Técnicas de forense e investigación

Gobernanza y Cumplimiento:

• Marcos y políticas de gestión de riesgos de IA
• Consideraciones de cumplimiento normativo (RGPD, Ley de IA, etc.)
• Evaluación de riesgos de terceros para proveedores de IA
• Capacitación de conciencia de seguridad para equipos de desarrollo de IA

Ejercicio Práctico: Diseño de una arquitectura de seguridad completa para un chatbot empresarial de IA, incluyendo monitoreo, gobernanza y procedimientos de respuesta a incidentes

Módulo 9: Herramientas y Tecnologías (1 hora)

Objetivos de Aprendizaje:

• Evaluar e implementar herramientas de seguridad de IA
• Comprender el panorama actual de soluciones de seguridad de IA
• Construir capacidades prácticas de detección y prevención

Temas Cubiertos:

• Ecosistema de herramientas de seguridad de IA y panorama de proveedores
• Herramientas de seguridad de código abierto: Garak, PyRIT, Giskard
• Soluciones comerciales para seguridad y monitoreo de IA
• Patrones de integración y estrategias de despliegue
• Criterios de selección de herramientas y marcos de evaluación

Ejercicio Práctico: Demostración práctica de herramientas de pruebas de seguridad de IA y planificación de implementación

Módulo 10: Tendencias Futuras y Cierre (1 hora)

Objetivos de Aprendizaje:

• Comprender las amenazas emergentes y los futuros desafíos de seguridad
• Desarrollar estrategias de aprendizaje e mejora continua
• Crear planes de acción para los programas de seguridad de IA organizacionales

Temas Cubiertos:

• Amenazas emergentes: Deepfakes, inyección de prompts avanzada, inversión de modelos
• Desarrollos futuros y hoja de ruta del proyecto GenAI de OWASP
• Construcción de comunidades de seguridad de IA y compartir de conocimientos
• Mejora continua e integración de inteligencia de amenazas

Ejercicio de Planificación de Acciones: Desarrollar un plan de acción a 90 días para implementar prácticas de seguridad OWASP GenAI en las organizaciones de los participantes