Cómo decides el enrutamiento cuando la caché KV manda
Amazon SageMaker AI ha añadido el enrutamiento consciente de la caché KV (enrutamiento KV-aware), una nueva estrategia de enrutamiento para los endpoints en tiempo real. En lugar de deducir a ciegas dónde está cacheado un prefijo, la estrategia utiliza el estado de caché que reporta el propio contenedor del modelo: envía cada petición a una instancia que ya tiene una coincidencia larga en caché para ese prompt y que no esté demasiado ocupada.
Está pensado para equipos que sirven modelos de lenguaje con conversaciones de varios turnos, prompts compartidos largos o carga elevada. Se activa en dos sitios: hay que añadir una variable de entorno al contenedor para que reporte el contenido de su caché, y fijar RoutingStrategy en KV_AWARE en la configuración del endpoint. Los clientes llaman al endpoint exactamente igual que antes.
El problema que resuelve está muy bien planteado por AWS. Las aplicaciones de LLM —asistentes de chat, generación aumentada por recuperación (RAG) y agentes con prompts de sistema largos— envían muchas peticiones que empiezan por el mismo texto. Un modelo guarda en la memoria de la GPU el trabajo que ya hizo sobre ese prompt (la caché KV) y se lo salta cuando el mismo comienzo llega a la misma instancia.
El problema es que el enrutamiento anterior, consciente de prefijos, funciona por inferencia: calcula un hash sobre el inicio de la petición, hasta la longitud de prefijo configurada, y manda las peticiones que empiezan igual a la misma instancia. Pero nunca ve lo que la instancia tiene realmente cacheado. Eso falla en dos situaciones muy habituales:
- La caché cambia con el tiempo. Una instancia expulsa las entradas antiguas de caché KV cuando se llena la memoria de la GPU, pero el enrutador sigue mandando ahí las peticiones como si la caché siguiera caliente.
- La conversación empieza corta. En un chat de varios turnos, cada turno añade historial. Mientras la petición sea más corta que la longitud de prefijo configurada, cada turno nuevo cambia el texto que el enrutador calcula, así que el turno puede acabar en una instancia distinta de la que cacheó los turnos anteriores. Los turnos de una conversación solo permanecen en una misma instancia cuando la petición crece más allá de ese umbral.
El enrutamiento consciente de la caché KV resuelve ambas cosas porque el contenedor informa de lo que tiene: el contenedor vLLM reporta los bloques de caché que inserta y expulsa. SageMaker AI mantiene un índice de caché gestionado para el endpoint y lo usa para elegir la instancia que conserva la coincidencia más larga y que está menos cargada. Si la búsqueda falla o va lenta, el servicio cae de vuelta al enrutamiento por carga, de modo que nunca se queda sin atender. También es compatible con endpoints de un solo modelo y con componentes de inferencia, y se puede verificar el comportamiento con métricas del propio endpoint.
Amazon SageMaker AI añade enrutamiento consciente de la caché KV a sus endpoints en tiempo real. En vez de inferir el prefijo por hash, el contenedor vLLM reporta qué bloques de caché tiene y SageMaker mantiene un índice gestionado para elegir la instancia que conserva la coincidencia más larga y está menos cargada. Resuelve dos fallos del enrutamiento por prefijo: la expulsión de caché por falta de memoria en GPU y el salto de instancia en los turnos cortos de una conversación. Si la búsqueda falla, cae al enrutamiento por carga. Se activa con RoutingStrategy=KV_AWARE en la variante de producción, requiere el contenedor vLLM de AWS 0.33.0 o posterior y al menos dos instancias, y no tiene coste adicional. Está disponible en todas las regiones con SageMaker AI.
Esto es el tipo de detalle que separa un servicio de inferencia usable de uno que solo funciona en las demostraciones. El problema que resuelve es de los míos: no de modelos, sino de distribución de carga sobre una capacidad heterogénea y con estado. Cuando tienes un prompt largo cacheado en una GPU concreta, mandar esa petición a otra GPU no es una pérdida de rendimiento menor, es trabajo repetido. En un contexto con RAG o con historial largo, es la diferencia entre servir la respuesta en 400 ms o en 2 s.
Lo más elegante es el diseño: en lugar de que el enrutador adivine, deja que la verdad salga de donde está. El contenedor ya sabe qué tiene en la memoria, así que lo declara y el orquestador trabaja con datos reales en vez de con heurísticas. Es exactamente el enfoque correcto en cualquier sistema distribuido con estado, y aplica igual a cachés de disco, buffers de red o sesiones de usuario. Me parece una de esas decisiones de arquitectura que parecen pequeñas y luego se pasan añosconvirtiéndose en un punto de dolor.
Mi única objeción es de operación: introduce acoplamiento entre el contenedor y el orquestador. El endpoint de inferencia deja de ser un contrato HTTP opaco y pasa a depender de que el contenedor implemente bien un protocolo de reporting. Si un cliente despliega su propio contenedor, o si cambia de versión de vLLM y el reporte se degrada, el sistema tiene que seguir funcionando, y la caída al enrutamiento por carga es el red de seguridad correcto. Lo que me gustaría ver es telemetría que exponga qué porcentaje de peticiones se resuelven por caché frente a las que caen por saturación. Sin ese dato, es imposible dimensionar el clúster con criterio. En el fondo, lo que AWS ha hecho aquí es reconocer que en inferencia la topología física —qué GPU, qué nodo, qué fabric— forma parte del contrato de servicio. Quien diseña redes para centros de datos de IA va a tener que aprender a leer estos números igual que lee una tabla de latencia.