AWS demuestra cómo recortar un 71 % de tokens en agentes con JSON masivo
Cuando un agente de IA trabaja con herramientas que devuelven estructuras JSON de varios megabytes, cada llamada inyecta el payload completo en la ventana de contexto del modelo. El resultado es fácil de imaginar: consumo de tokens disparado, latencias por encima de 15 segundos y conversaciones largas que se degradan hasta agotar el contexto. Amazon ha publicado un caso práctico real, con código, sobre cómo resolver ese problema en producción.
El caso viene de Flightscape, una plataforma de operaciones aéreas que gestiona tripulaciones, vuelos y turnos. Su agente de optimización de horarios de formación verificaba las asignaciones de entrenamiento contra las reglas de negocio mediante más de 40 herramientas, con entradas JSON de 20 MB o más. El agente cumplía la funcionalidad, pero la latencia media de cada llamada se disparaba por encima de 15 segundos.
La solución descrita en el blog de machine learning de AWS se apoya en tres estrategias composables. La primera consiste en externalizar el estado: los artefactos pesados (JSON de petición, respuesta y validación) se guardan en Amazon S3 y la memoria de AgentCore persiste únicamente referencias ligeras. El estado se deshidrata antes de persistirse y se rehidrata bajo demanda. Además, la referencia de cada objeto se deriva del propio contenido mediante el hash SHA-256, de forma que las escrituras son idempotentes y los payloads idénticos no se vuelven a subir.
La segunda estrategia introduce la paginación bajo demanda. Cuando una herramienta devuelve una lista demasiado grande, el agente almacena la lista completa en S3 y solo entrega al modelo un resumen compacto con el número total de elementos, una pequeña muestra y un identificador de resultado. Si el modelo necesita más detalle, invoca una herramienta de paginación con ese identificador, desplazamiento y límite. Antes de aplicar esta medida, algunas respuestas de una sola llamada superaban los 80.000 tokens.
La tercera es la compactación de diccionarios mediante descriptores. Las salidas que no son listas, sino diccionarios profundamente anidados, se sustituyen por una estructura que conserva los tipos de cada campo y una muestra de datos, sin el contenido completo. Si el modelo requiere el detalle, recupera el payload mediante el mismo tipo de identificador.
Las cifras medidas sobre una conversación de 5 preguntas son llamativas: el consumo total de tokens pasó de unos 289.500 a unos 82.900, una reducción aproximada del 71 %, y la latencia media de traza cayó casi un 80 %, de 15,4 a 3,1 segundos. En un lote más amplio de 100 preguntas, los tokens bajaron de 23,6 M a 8,5 M (64 %) y la latencia media pasó de 7.930 a 2.461 ms (69 %). El caso más pesado, una consulta que listaba todas las tripulaciones válidas por categoría de validación, pasó de 2 minutos y 46 segundos a unos 15 segundos.
AWS publica además el repositorio con el código y los pasos para replicar el patrón, y recuerda que la eliminación de los recursos del walkthrough es responsabilidad del usuario para no generar cargos innecesarios.
Amazon documenta cómo Flightscape construyó un agente con más de 40 herramientas sobre Amazon Bedrock AgentCore que procesaba payloads JSON de más de 20 MB. La clave es sacar los artefactos pesados del contexto: se guardan en Amazon S3 con referencias derivadas del SHA-256 y la memoria de AgentCore solo persiste punteros ligeros. Las respuestas grandes de herramientas ya no se inyectan completas: se sustituyen por muestras paginables o por descriptores compactos que el modelo puede ampliar bajo demanda. En las pruebas, el consumo de tokens bajó un 71 % y la latencia media un 80 %, con mejoras de hasta 2 min 46 s a 15 s en la consulta más pesada. El patrón se apoya en S3, memoria de AgentCore y un grafo LangGraph, con código publicado por AWS para adaptarlo a otros agentes.
El enfoque me suena familiar a cualquiera que haya peleado con sistemas donde el JSON satura el contexto, y la analogía es clara: en redes, el problema del payload gigante en el buffer es un problema de dimensionado, no de modelo. La diferencia aquí es que el modelo paga por cada token repetido, así que externalizar a almacenamiento y traer solo lo necesario bajo demanda es la práctica correcta, y no una optimización menor.
Lo que más me gusta es que la reducción de latencia (80 %) es mayor que la de tokens (71 %). Es lógico: los agentes desperdiciaban tiempo en serializar y transmitir megabytes por la red en cada turno, no solo en la inferencia. Ese paralelismo con la telemetría y el ancho de banda es directo.
Mi duda práctica es la dependencia de S3 como ruta caliente: cada hidratación es un viaje adicional a la red que puede acabar en otra región. Si el bucket no está en la misma zona de disponibilidad que el endpoint de inferencia, se paga latencia de red con cada recuperación de artefacto, y parte del 80 % ganado se pierde. El texto menciona que el walkthrough incluye endpoints de red y recursos de VPC, lo que sugiere que el diseño es consciente de esto, pero no se detallan las métricas de la red en sí.
En cualquier caso, es una guía práctica bien documentada que aplica a cualquier agente con datos estructurados de empresa, y los números son reproducibles porque el código está publicado.