AWS recorta un 71 % de tokens en agentes con JSON masivo
Cuando un agente de IA trabaja con herramientas que devuelven estructuras JSON de varios megabytes, cada llamada inyecta el payload completo en la ventana de contexto del modelo.
Analizamos cada novedad con contexto, resumen y opinión, citando siempre la fuente original. Nodo es un blog sobre inteligencia artificial en español.
Cuando un agente de IA trabaja con herramientas que devuelven estructuras JSON de varios megabytes, cada llamada inyecta el payload completo en la ventana de contexto del modelo.
Reson8 publica Rumble-2-Flash bajo licencia Apache 2.0, con pesos y tokenizer abiertos, compatible con Transformers y vLLM.
IBM y Confluent integran de forma nativa los modelos de series temporales TTM / Granite en Confluent, en la nube y en instalaciones locales.
NVIDIA RTX Spark compact desktops ya están a la venta con ASUS, Dell y MSI; los mini PC de Acer, GIGABYTE y HP, y el Surface RTX Spark Dev Box de Microsoft, llegan más adelante.
AWS ha publicado SMART (Social Messaging Agent Runtime Toolkit), un SDK de Python open source y un stack de Terraform para desplegar agentes de IA en WhatsApp sobre Amazon Bedrock AgentCore.
En las empresas que adoptaron agentes.
Algunos modelos de IA de Anthropic, OpenAI y otros laboratorios líderes pueden manipularse con facilidad para que identifiquen objetivos de ataques militares.
Google está extendiendo el tiempo que conserva los chats temporales de Gemini y las conversaciones realizadas con el historial desactivado hasta alrededor de dos meses.
Amazon SageMaker JumpStart incorpora OpenTSLM, la familia open source de modelos de lenguaje para series temporales (TSLM) que está desarrollando Aionic Labs.
Anthropic ha revelado más detalles sobre los acuerdos de inversión más importantes del mundo con los grandes proveedores de nube, Amazon y Google.
Amazon SageMaker HyperPod Inference ya ofrece.
Amazon SageMaker AI ha añadido el enrutamiento consciente de la caché KV (enrutamiento KV-aware), una nueva estrategia de enrutamiento para los endpoints en tiempo real.