Un router gestionado para cuando la GPU escasea en una region
Amazon Web Services ha presentado el enrutado de inferencia entre regiones (cross-Region inference routing) en Amazon SageMaker AI. Se trata de un recurso nuevo, el inference router, que da a la aplicacion un unico punto de invocacion sobre los endpoints e inference components que ya se estan ejecutando, tanto en una como en varias regiones de AWS y en una o varias cuentas. Hasta ahora, quien servia modelos en endpoints gestionados de SageMaker AI y queria repartir trafico entre regiones tenia que construir ese mecanismo por su cuenta.
La idea de partida es conocida: servir un modelo desde mas de una region para mantener la inferencia disponible cuando una zona se queda sin capacidad de GPU. Describirlo es facil, operarlo no lo es. La aplicacion tiene que detectar que un endpoint va mal, decidir que errores se pueden reintentar sin ejecutar el modelo dos veces, devolver el trafico despues de la recuperacion sin oscilar y gestionar el acceso a endpoints de otras cuentas. Ese codigo vive en la ruta critica de cada peticion y cada equipo acaba manteniendo su propia version.
El funcionamiento se apoya en tres piezas. El router es un recurso regional que la aplicacion invoca en lugar de un endpoint concreto. El routing target es un nombre logico para un modelo, como fraud-model, y un mismo router puede alojar muchos, cada uno con su propio failover. Los destinations son los endpoints en tiempo real, inference components o endpoints asincronos registrados bajo ese target, identificados por su ARN completo, que es lo que revela al router en que region y en que cuenta viven. La region donde se crea el router es su region local, y el router prefiere destinos de esa region mientras esten sanos.
Lo relevante para quien administra redes es como decide. SageMaker AI calcula una puntuacion de salud por destino a partir de sus peticiones recientes, medida en la region del propio destino. Los errores de servidor, los throttles y los timeouts bajan la puntuacion; los fallos de la plataforma, como un health check fallido, la bajan mucho mas. Los errores provocados por la peticion, como una entrada invalida, no la bajan, porque la misma peticion fallaria en cualquier region. La latencia del modelo no es un parametro de entrada: un endpoint que responde con exito conserva su trafico aunque sea lento.
Con esos datos el router publica en Amazon CloudWatch uno de tres estados: healthy, que sirve con normalidad; overloaded, que sigue sirviendo pero le retira parte del trafico; y degraded, que falla o no puede servir, por lo que se le quita la mayor parte del trafico y se conserva una fraccion pequena para detectar la recuperacion. Los umbrales y los tiempos de conmutacion los gestiona SageMaker AI, sin que el cliente tenga que ajustar nada. Si la informacion de salud de los destinos remotos caduca, el router mantiene el trafico en su propia region, de modo que un hueco de monitorizacion nunca mueve trafico por si solo.
El movimiento no exige que el destino falle del todo: cuanto mas fallan las peticiones, mas trafico se desplaza. El desvio empieza alrededor de un minuto despues de errores sostenidos, o mas tarde si el destino recibe poco trafico, y el trafico que sale se reparte entre los destinos remotos sanos en proporcion a su salud. No se pueden fijar pesos ni un orden de respaldo. La vuelta es mas lenta que la ida, reparte el retorno a lo largo de varios minutos y no interrumpe las peticiones en curso.
En cuanto a los reintentos, el router solo repite una peticion en tiempo real una vez y solo sobre otro destino cuando el modelo no llego a ejecutarse. Eso cubre un throttle, un error 503, un modelo que aun no esta listo, un rechazo por el limite de trafico entre regiones o un acceso denegado en el destino. Nunca reintenta timeouts, errores 500 ni errores del propio modelo, que es justo la decision que cuesta acertar en un balanceador casero: repetir a ciegas puede cobrar dos veces por la misma inferencia. En peticiones asincronas se prueba cada destino elegible una vez, empezando por los locales, hasta que uno acepta la peticion.
El caso de uso mas directo es el de una region que se queda corta de capacidad de GPU. Si una instancia G-series escasea en US East (Ohio) en hora punta y las peticiones empiezan a dar throttle, el router manda las nuevas al mismo modelo en US West (Oregon), donde el autoescalado absorbe el exceso, y devuelve el trafico de forma gradual cuando Ohio se recupera. Tambien cubre despliegues multiparte: una cuenta de plataforma es duena del router y otras cuentas son duenas de los endpoints, y cada propietario concede acceso a un unico router por su nombre mediante una politica basada en recursos con la condicion SourceInferenceRouterArn. El router nunca da a un llamante acceso a un endpoint que no podria invocar directamente.
Para proteger a los receptores, cada endpoint puede fijar un cross-Region traffic cap que limita cuanto de su capacidad puede ocupar el trafico procedente de otras regiones, dejando el resto a sus llamantes locales. Asi, el desbordamiento de una zona no arrastra a la vecina al throttling.
- Amazon introduce en SageMaker AI un inference router que da un unico punto de invocacion sobre endpoints de varias regiones y cuentas.
- El router mantiene el trafico en su region y solo lo desvia cuando los destinos locales fallan o dan throttle, con retorno gradual.
- La salud se calcula con errores 5xx, throttles, timeouts y fallos de plataforma; la latencia del modelo no cuenta.
- Solo se reintenta una vez y solo si el modelo no llego a ejecutarse: nunca en timeouts, 500 ni errores del modelo.
- Cada endpoint puede fijar un cross-Region traffic cap para no ser desbordado por el trafico de otras regiones.
Desde el punto de vista de quien diseña y opera redes, lo mas valioso no es el router en si, sino que AWS haya decidido estandardizar un problema que hasta ahora cada equipo resolvia a mano: el failover de inferencia entre regiones. Un balanceador clasico no entiende de inferencia. Repetir una peticion que ya ejecuto el modelo cuesta dinero y puede duplicar efectos, y eso el router lo resuelve con una regla explicita: reintento unico y solo cuando el modelo no corrio. Ademas, distinguir errores de plataforma de errores del propio cliente es una leccion que en redes se aprende tarde.
Hay dos decisiones que conviene leer con cuidado. La primera es que la latencia quede fuera de la ecuacion de salud: un endpoint lento pero correcto conserva todo su trafico, lo que puede dejar a usuarios con respuestas mas lentas sin que el sistema reaccione. La segunda es que el router no crea capacidad ni copia artefactos, asi que la region de respaldo tiene que estar ya desplegada y pagada; el failover resuelve disponibilidad, no escasez de GPU. Sigue siendo imprescindible dimensionar y monitorizar por region.