Repartir la inferencia entre nodos cuando el modelo no cabe
Amazon SageMaker HyperPod Inference ya ofrece NVIDIA Dynamo como servicio gestionado. Dynamo es una plataforma de inferencia distribuida de NVIDIA y, desde ahora, se puede desplegar dentro de HyperPod sin montar la pila a mano, con despliegue multinodo, serving desagregado (prefill y decode separados en conjuntos de GPU distintos) y enrutamiento consciente de la caché KV.
El problema que resuelve es de escala pura. Servir un modelo de lenguaje grande con eficiencia exige no solo memoria de GPU suficiente, sino coordinar con cuidado el procesamiento del prompt y la generación de tokens. Como señala el equipo de AWS, los pesos FP8 del GLM-5.3, por ejemplo, superan los 640 GB de memoria de GPU de una sola instancia ml.p5.48xlarge, antes de contar la caché KV y el consumo del runtime. Y los prompts largos ralentizan la generación de tokens cuando ambos comparten las mismas GPU.
AWS gestiona el particionado de modelos que no caben en una sola GPU, el health-check de los nodos y el tráfico entre ellos a través de Elastic Fabric Adapter (EFA). HyperPod vigila el estado de los nodos, las GPU y la EFA, y sustituye los nodos que fallan recreando los workers afectados. El enrutamiento es consciente de la caché KV, lo que reduce el tiempo hasta el primer token y evita recomputar la caché de atención en GPU distintas.
Las cifras que da AWS son el argumento: en serving desagregado se alcanzan 207 tokens/s por GPU frente a 101 en modo agregado, es decir, 2,05 veces más, con Qwen3-235B sobre 16 H200.
AWS integra NVIDIA Dynamo gestionado en SageMaker HyperPod Inference. Permite inferencia distribuida multinodo, serving desagregado (prefill y decode en GPU distintas) y enrutamiento consciente de la caché KV. AWS gestiona el particionado de modelos que no caben en una GPU, el health-check de nodos y el tráfico entre ellos mediante Elastic Fabric Adapter. HyperPod vigila nodos, GPU y EFA y sustituye los que fallan, recreando los workers afectados. Las referencias de AWS muestran 207 tokens/s por GPU en serving desagregado frente a 101 agregado (2,05x) con Qwen3-235B sobre 16 H200. Es la vía para desplegar modelos que no caben en una sola GPU sobre clústeres multi-GPU sin montar la pila de inferencia a mano.
El titular dice «integración» y el fondo dice otra cosa: AWS está vendiendo la orquestación de la inferencia como un servicio gestionado, que es exactamente lo que quiere un proveedor de nube. Dynamo es la pieza con la que NVIDIA se convierte en proveedor de infraestructura, y al meterlo dentro de HyperPod, AWS le quita a sus clientes el trabajo de montarlo y, sobre todo, el trabajo de operarlo.
Lo del serving desagregado merece atención, porque es la arquitectura que va a marcar los próximos años. Separar prefill (que es el trabajo pesado de atender el prompt, con mucha memoria) de decode (que es la generación autoregresiva, más dependiente de ancho de banda) es lo que permite arquitecturas con GPUs distintas para cada fase, porque una H200 no es la mejor opción para las dos. En la práctica significa que el prefill y el decode van a acabar en subredes distintas, con políticas de tráfico distintas, y que el cuello de botella va a migrar de la GPU a la red. El 2,05x que mide AWS con 16 H200 es una mejora notable, pero el número que de verdad importa para el diseño de red es otro: cuánto tráfico cruza entre los dos grupos de nodos y con qué latencia. Ahí es donde se decide si el clúster escala o se atasca.
Y hay un matiz que las notas de marketing no cuentan: el particionado de modelos es la parte que más problemas da en producción. No es un problema de cómputo, es un problema de memoria y de fallos parciales. Si uno de los 16 nodos que sostienen el modelo se cae, el sistema tiene que saber recomponer el estado sin reiniciar el inferences de forma global. HyperPod dice que sustituye los nodos y recrea los workers, lo cual es exactamente lo que un operador de red querría oír y, a la vez, exactamente lo que hay que auditar con una caída real de nodo. Es el tipo de cifra que sale de un banco de pruebas y no de un centro de datos con un cliente molesto esperando. La gestión del servicio es lo que convierte a esto en una ventaja de plataforma y no solo en una función: los clientes que no pueden permitirse mantener su propia pila de inferencia son la base de clientes que AWS quiere, y eso incluye a casi todos los que no son los diez mayores de internet.