AWS mete a NVIDIA Dynamo en HyperPod: inferencia a escala

Hardware

AWS evita tirar GPUs: enruta según la caché real

Amazon SageMaker AI ha añadido el enrutamiento consciente de la caché KV (enrutamiento KV-aware), una nueva estrategia de enrutamiento para los endpoints en tiempo real.

5 min