Hardware

AWS enseña a vigilar GPU y red en sus clústeres de entrenamiento

HyperPod incorpora observabilidad ampliada que cubre las capas de GPU, red y host en clústeres EKS y Slurm.

AWS enseña a vigilar GPU y red en sus clústeres de entrenamiento

Amazon CloudWatch entra en el diagnóstico de clústeres de entrenamiento

Amazon Web Services ha añadido capacidades de observabilidad ampliadas a Amazon SageMaker HyperPod, su plataforma para ejecutar entrenamiento distribuido sobre Amazon EKS o Slurm. La novedad, anunciada el 19 de noviembre de 2026, busca responder a una pregunta que hasta ahora costaba horas o días de trabajo: cuando un job de entrenamiento pierde rendimiento, ¿el problema está en una GPU, en un enlace de red saturado o en el host?

La compañía describe el punto de partida con claridad en su blog: el entrenamiento a gran escala es una de las cargas más caras que se pueden ejecutar sobre GPU, y un solo acelerador en mal estado puede detener un job distribuido completo. Lo difícil casi nunca es detectar que algo va mal, sino localizar dónde y por qué. Hasta ahora, la visibilidad sobre la infraestructura de HyperPod exigía pegar métricas de herramientas distintas, que señalaban la degradación sin explicar su causa.

La nueva capa reúne métricas, diagnóstico y perfilado en un único flujo para clústeres orquestados tanto con EKS como con Slurm. Se instala como add-on en EKS y como extensión en Slurm, de modo que los permisos para desplegarla o modificarla quedan bajo control de AWS Identity and Access Management (IAM).

Qué se mide ahora y con qué coste

La novedad se despliega como una capa adicional sobre el clúster, no como un sustituto de la monitorización que ya existía. Las cifras que publica AWS permiten comparar la sobrecarga con el resto de herramientas de diagnóstico que ya conviven en un clúster de entrenamiento.

Capa observada Qué detecta Herramienta base Sobrecoste declarado
GPU Desviación de uso, temperatura, potencia y reloj frente a sus pares CloudWatch 1-2 % de CPU, 250-300 MB de memoria
Red Caída de caudal en EFA, pérdida de paquetes y retransmisiones Reglas estáticas Incluido en el mismo add-on
Host Errores XID y fallos de memoria ECC Diagnóstico por GPU Sin coste adicional indicado
Almacén de métricas Recolección de series cada 30 segundos CloudWatch o Managed Prometheus Por volumen de métrica

La diferencia relevante frente a la monitorización anterior está en eldiagnóstico comparado: no se trata solo de ver que una GPU se ha degradado, sino de contrastarla con el resto de aceleradores del mismo clúster para decidir si el problema es la tarjeta, el enlace que la alimenta o el host que la ejecuta.

Resumen

  • HyperPod incorpora observabilidad ampliada que cubre las capas de GPU, red y host en clústeres EKS y Slurm.
  • Las métricas por defecto se recogen cada 30 segundos con un coste declarado de 1 a 2 % de CPU y entre 250 y 300 MB de memoria.
  • Un diagnóstico compara cada GPU con sus pares en utilización, memoria, temperatura, potencia y frecuencia de reloj, y marca las desviadas.
  • Reglas estáticas detectan errores XID, fallos de memoria ECC, caídas de caudal en Elastic Fabric Adapter (EFA) y limitación térmica.
  • Amazon CloudWatch pasa a ser el almacén de métricas por defecto, con opción de mantener Amazon Managed Service for Prometheus.
Opinión

Desde el punto de vista de quien opera red y cómputo, lo más relevante no es el panel de turno sino el reconocimiento explícito de que la red forma parte del diagnóstico de una GPU. Que las reglas estáticas incluyan caída de caudal en EFA, pérdida de paquetes y retransmisiones sitúa al conmutador y a la NIC en el mismo plano que al acelerador cuando se investiga una degradación. En entrenamiento distribuido, una GPU aparentemente sana sirviendo datos por un enlace degradado produce el mismo síntoma que un chip defectuoso, y separar ambos casos sin telemetría correlacionada es adivinar.

El detalle de las cifras también invita a pensar en la capacidad de observabilidad como coste propio: 250 a 300 MB por nodo y un intervalo de 30 segundos escalan rápido en clústeres de miles de máquinas, y activar las métricas avanzadas de NVIDIA DCGM, PCIe y EFA multiplica el volumen enviado al almacén. Quien tenga límites de ingesta o enlaces de gestión modestos hará bien en medir ese tráfico antes de encender todo. Dicho esto, comparar cada GPU contra sus pares es una idea sencilla y muy útil: el ruido de fondo desaparece y queda la anomalía, que es exactamente lo que un ingeniero de redes quiere ver primero.

El funcionamiento se apoya en dos niveles de telemetría. Las métricas por defecto se activan solas y cubren salud del clúster, uso de CPU, disco y sistema operativo, utilización y temperatura de GPU, además de consumo por job; se recogen cada 30 segundos y se envían al almacén elegido con una sobrecarga declarada de aproximadamente 1 a 2 % de CPU y 250 a 300 MB de memoria. Las métricas avanzadas son opcionales y añaden la suite completa de node exporter, todas las métricas de NVIDIA DCGM y de AWS Neuron (frecuencias, potencia, actividad PCIe e indicadores de error) y, sobre todo para lo que aquí interesa, las métricas de Elastic Fabric Adapter: caudal de la interfaz, descartes, retransmisiones y errores.

AWS explica por qué separa ambos niveles: las avanzadas aumentan el volumen de telemetría enviada al almacén y eso tiene coste. Para trabajos pequeños en clústeres reducidos puede no merecer la pena, pero en entrenamientos largos sobre clústeres grandes, donde los patrones solo emergen con el tiempo, se vuelven imprescindibles. El almacén de métricas también cambia: Amazon CloudWatch pasa a ser la opción por defecto, con integración directa en CloudWatch SageMaker Insights, y Amazon Managed Service for Prometheus queda para los equipos que ya trabajan con Prometheus y Grafana. Antes solo estaba soportado este último.

El resumen de diagnóstico combina dos enfoques. El primero detecta valores atípicos de GPU mediante la API DetectGroupOutliers de CloudWatch, que compara dentro de un mismo job la utilización, el uso de memoria, la temperatura, el consumo y la frecuencia de reloj de cada acelerador con los de sus compañeros; cuando uno se desvía de forma significativa aparece marcado como tarjeta atípica. El segundo aplica reglas estáticas sobre patrones de fallo conocidos y clasifica los problemas por tipo: hardware (errores de memoria ECC, fallos XID, averías de acelerador), red (degradación del caudal en EFA, pérdida de paquetes, retransmisiones), limitación de frecuencia por calor, placa o límites de fiabilidad, y sobrecalentamiento por encima de los umbrales configurados.

Cada incidencia detectada identifica el job, el clúster, el nodo, el acelerador y el rango afectado. Ese nivel de granularidad es lo que permite pasar de la sospecha a la intervención: en lugar de revisar logs sueltos de cientos o miles de GPU, el operador recibe la lista corta de las que se comportan distinto. AWS resume el beneficio en tiempo: dedicar el esfuerzo a arreglar el problema en vez de a buscarlo.

El despliegue se hace desde la consola o por CLI. En EKS se instala el add-on amazon-sagemaker-hyperpod-observability, con opciones para fijar el destino de métricas en CloudWatch, activar las métricas de red en nivel avanzado o habilitar el perfilado de host; en Slurm la misma pieza llega como extensión de clúster con niveles de recogida por categoría. La observabilidad viene activada por defecto tanto en el asistente rápido como en el personalizado, y en este último se pueden elegir qué categorías y métricas avanzadas encender.

Fuente original

Esta entrada traduce y resume un artículo publicado originalmente en Amazon Web Services.

https://aws.amazon.com/blogs/machine-learning/introducing-enhanced-observability-in-amazon-sagemaker-hyperpod-to-diagnose-gpu-training-issues/