Modelos de decisión de autoalojamiento: Servicio, Cuantización, Latencia y Operaciones

Opciones de Despliegue

• Compensaciones entre API alojada y autoalojada.
• Patrones en premisas propias, borde y entornos aislados (air-gapped).
• Modelo único frente a portafolio de modelos.
• Comparación de costo por decisión.

Dimensionamiento de Hardware y Capacidad

• Huella de memoria según el número de parámetros.
• Solo CPU frente a aceleración con GPU.
• Planificación de concurrencia y throughput.
• Margen para el crecimiento de la longitud de la tarea.

Stacks de Servicio

• Opciones de vLLM y SGLang.
• Ejecución con llama.cpp y GGUF.
• Ollama para desarrollo local.
• Elegir según la forma de la carga de trabajo de decisión.

Cuantización sin Pérdida de Calibración

• Formatos de precisión y ahorros de memoria.
• Medición de la calidad y la pérdida de calibración.
• Variantes por tensor e informadas por importancia.
• Pruebas de aceptación después de la cuantización.

Ingeniería de Latencia

• Latencia mediana frente a latencia de cola.
• Crecimiento de la latencia con la longitud del contexto.
• Arranque en caliente (warm start) y caché de modelos.
• Loteo de múltiples preguntas de decisión.

Entornos de Borde y Restringidos

• Pequeños modelos de decisión en CPU.
• Despliegue en Apple Silicon y dispositivos embebidos.
• Operación sin conexión y estrategia de actualización.
• Distribución de pesos en entornos aislados (air-gapped).

Contenerización y Escalado

• Diseño de imágenes para servicio de modelos.
• Gestión de volúmenes y caché.
• Escalado horizontal y enrutamiento.
• Límites de recursos y uso compartido de GPU.

Observabilidad

• Métricas de solicitudes, latencia y errores.
• Monitoreo de la distribución de confianza.
• Seguimiento de resultados de decisión y escalaciones.
• Alertas por deriva de calibración.

Versionado y Despliegue

• Versionado de modelos y adaptadores.
• Despliegue sombra y canario.
• Archivos de modelo fijados (pinned) para auditoría.
• Procedimientos de revocación (rollback).

Seguridad y Multiinquilinato

• Autenticación y limitación de tasa.
• Aislamiento de inquilinos para prompts y registros.
• Aislamiento de red y control de egreso.
• Registro de auditoría de decisiones.