SageMaker trocea la GPU en siete para servir mas modelos
AWS repasa 13 lanzamientos de 2026 en Amazon SageMaker AI Inference orientados a servir modelos en producción sin inflar la factura. Lo que ocurre en esta entrada es casi un cambio de fase.
Amazon trocea una GPU en siete para apretar la factura de inferencia
Cuando un modelo ya está en producción, las preguntas cambian. Ya no se trata de entrenar, sino de saber qué configuración aguanta el tráfico real, cómo meter más modelos en las GPUs que ya se están pagando, qué hacer cuando el siguiente modelo no cabe en una sola máquina y por qué sube la latencia sin que nadie haya tocado nada. AWS ha repasado en la segunda parte de su balance de lanzamientos de 2026 un total de 13 novedades de Amazon SageMaker AI Inference que atacan justo esos problemas, y hay varias con consecuencias muy directas para quien opera infraestructura.
La más llamativa, por lo que tiene de cambio físico, es el soporte de NVIDIA Multi-Instance GPU (MIG) en los endpoints de SageMaker, presentado en octubre. MIG divide una GPU física en hasta siete particiones, según el acelerador, y cada partición recibe cómputo y memoria dedicados con aislamiento completo de hardware. La partición se define al crear el endpoint para componentes de inferencia, y a cada componente se le asigna un tipo de partición. El código del cliente no cambia, porque las aplicaciones siguen invocando los modelos por el nombre del componente.
Ese último detalle es importante para no llevarse una sorpresa con la factura. AWS lo dice con claridad: se paga la hora completa de la instancia, así que el ahorro no viene de un precio por hora más bajo, sino de colocar más modelos en cada instancia. En el ejemplo que sigue el artículo, un modelo de embeddings, un reranker y un clasificador pequeño, que antes ocupaban cada uno un acelerador entero, pasan a vivir en particiones separadas de una sola GPU. Además, MIG aísla el cómputo y la memoria entre particiones, pero los modelos de la misma instancia siguen compartiendo CPU del host, memoria del host, red, almacenamiento y enrutado del endpoint.
El segundo bloque tiene que ver con el ajuste fino automático de la configuración. Las recomendaciones de inferencia ya existían como API desde abril, pero han sumado cuatro actualizaciones que las llevan a donde trabaja la gente. Ahora están disponibles en SageMaker AI Studio como flujo guiado, con perfiles de caso de uso (Interact, Generate, Summarize o Custom) y un objetivo de optimización —latencia mínima, throughput máximo o coste mínimo—. El sistema lanza benchmark sobre GPU real con NVIDIA AIPerf y aplica técnicas según el objetivo, como decodificación especulativa para throughput o ajuste de kernels para latencia. Los resultados se comparan por tiempo hasta el primer token, latencia inter-token, throughput y coste.
Desde agosto, lo mismo está dentro del SDK de Python v3, a partir de la versión 3.17.0, así que se puede integrar en cuadernos, pipelines de CI y flujos de MLOps. Puedes hacer benchmark de un endpoint en vivo contra tu propio tráfico y desplegar la configuración mejor rankeada en una sola llamada. En septiembre llegaron dos piezas más: el soporte de adaptadores LoRA en las recomendaciones, que permite calcular cuántos adaptadores caben y cuánta concurrencia aguanta el endpoint antes de romper el objetivo de latencia, y una búsqueda de concurrencia bajo SLA que encuentra el límite directamente en lugar de ir probando a mano. Se ajusta con search_recipe a max-concurrency-under-sla y devuelve la mayor concurrencia que pasa (feasible_max) o, si ninguna cumple, la menor que falla (infeasible_min).
En octubre se añadió una skill para agentes de programación. La idea es que, en lugar de que el ingeniero adivine qué instancia y qué contenedor elegir, el agente lo consulte con datos reales medidos: rankea opciones de despliegue para un modelo en S3, SageMaker JumpStart o Hugging Face Hub, ejecuta un benchmark del endpoint en vivo con throughput, latencia P50 y P99, latencia inter-token y concurrencia soportada, y compara ejecuciones para ver si un cambio ayudó. Las respuestas se entregan como código del SDK para que el ingeniero lo revise y lo ejecute con sus propias credenciales. Funciona con cualquier agente compatible con Model Context Protocol y tarda unos diez minutos en configurarse.
Para los modelos grandes está HyperPod Inference, que ofrece clústeres dedicados y control nativo sobre Kubernetes. La novedad de noviembre es NVIDIA Dynamo gestionado en HyperPod, con serving fragmentado en varios nodos, y se suma a las piezas cubiertas en la primera parte: prefill y decode desagregados en Inference Operator 3.2 y enrutado consciente de la caché KV sobre caché por niveles gestionada.
- AWS repasa 13 lanzamientos de 2026 en Amazon SageMaker AI Inference orientados a servir modelos en producción sin inflar la factura.
- NVIDIA Multi-Instance GPU divide una GPU física en hasta siete particiones, con aislamiento completo de cómputo y memoria.
- La factura no baja por hora: se ahorra colocando más modelos por instancia, aunque CPU, memoria, red y almacenamiento del host se comparten.
- Las recomendaciones de configuración saltan del SDK a SageMaker AI Studio, al SDK de Python v3 y a una skill para agentes de programación que trabaja con datos medidos.
- Se añade búsqueda automática de la concurrencia máxima bajo SLA y soporte de adaptadores LoRA en las recomendaciones.
- Para modelos mayores que una instancia, HyperPod Inference estrena NVIDIA Dynamo gestionado con serving fragmentado en varios nodos.
Lo que ocurre en esta entrada es casi un cambio de fase. Durante los dos últimos años, el debate de infraestructura de IA se ha centrado en qué GPU comprar. Este balance demuestra que el cuello de botella se ha desplazado al reparto: cómo trocear la capacidad que ya se paga y cómo saber, con números, qué configuración aguanta la carga real.
Desde el punto de vista de redes y telecomunicaciones, el detalle de MIG resume bien el problema. Tienes aislamiento de cómputo y memoria, pero no de red ni de almacenamiento. Para quien diseña la segmentación de un data center eso significa que el ruido vecino no desaparece con una partición: un modelo en una fiesta puede seguir acaparando ancho de banda o saturando la pila de red de la instancia. El aislamiento lógico del acelerador no es aislamiento del sistema completo, y planificar la capacidad sin tenerlo en cuenta lleva a diagnósticos equivocados cuando aparece la latencia que nadie supo explicar.
La otra observación es sobre el enrutado multi-región de extremo a extremo, uno de los puntos que AWS incluye en estos lanzamientos: peticiones esperando en una región mientras las GPUs de otra están ociosas es, en el fondo, un problema clásico de balanceo y de latencia de red. Ahí es donde un perfil de comunicaciones aporta valor: plantear pasarelas de inferencia con enrutado consciente de latencia y de coste, en multipath y con políticas claras de failover. La IA no crea toda la complejidad de red, la hace visible y la pone delante de la factura de GPU.
Referencia y documentación original: AWS Machine Learning Blog.