Hardware

SageMaker HyperPod ya detecta GPUs que entrenan mal y trabajos colgados

Amazon añade a SageMaker HyperPod tres capacidades para detectar fallos que el chequeo de hardware nodo a nodo no ve.

SageMaker HyperPod ya detecta GPUs que entrenan mal y trabajos colgados

Cuando el clúster está sano pero el entrenamiento no

Hay una clase de fallo que ningún panel de estado detecta. Una GPU pasa todas las pruebas de estrés, responde a los diagnósticos de NVIDIA y sin embargo devuelve valores incorrectos cuando le toca multiplicar matrices de verdad. El primer síntoma aparece horas después, cuando la pérdida del modelo se convierte en NaN y todo el trabajo se va al garete. Amazon ha decidido atacar ese punto ciego con tres capacidades nuevas en SageMaker HyperPod, su plataforma para entrenar modelos grandes sobre clústeres de GPUs.

La idea central del anuncio es el concepto de goodput, la fracción del tiempo del clúster que se dedica a entrenar de forma útil. Hasta ahora HyperPod ya vigilaba el hardware nodo a nodo. El agente de monitorización de salud observa errores de GPU como las faltas Xid, los fallos de NVLink, los errores de Elastic Fabric Adapter y los errores de kernel. Además, las pruebas profundas de aprovisionamiento ejecutan diagnósticos DCGM de nivel 4 y comprueban memoria, NVLink y EFA. El problema es que todo eso mira un nodo cada vez y no responde a tres preguntas básicas: ¿las GPUs calculan bien?, ¿el trabajo sigue avanzando?, ¿los componentes de Kubernetes funcionan?

Para la primera pregunta llega MultiNodeTrainingValidation, una prueba nueva que entrena un modelo pequeño en cada instancia y después entre las instancias del mismo tipo comunicándose por EFA. Si la pérdida se vuelve NaN o infinita, o si el entrenamiento no termina a tiempo, la instancia se marca como fallida y, con la recuperación automática activada, se reinicia o se reemplaza. Como la carga de trabajo es fija, un fallo apunta al hardware y no a un cambio en el modelo o en el código. La prueba añade apenas unos ocho minutos a un chequeo completo que, en el ejemplo publicado por Amazon, tardó una hora y veintiocho minutos en dos nodos.

La segunda pregunta, si el trabajo sigue avanzando, la responde la detección de trabajos colgados. Un timeout de NCCL, una tubería de datos atascada o un interbloqueo pueden detener un trabajo sin terminarlo: el proceso sigue vivo, retiene sus GPUs y su memoria, y Slurm lo muestra como en ejecución hasta que alguien mira la curva de pérdida. Ahora un agente en cada nodo vigila la salida del trabajo y la actividad de las GPUs, o patrones de log definidos por el usuario, y cuando detecta que no hay progreso escribe un evento en CloudWatch y puede cancelar el trabajo para que Slurm lo vuelva a encolar.

El ahorro no es teórico. Amazon pone el ejemplo de un trabajo de preentrenamiento sobre 32 instancias ml.p5.48xlarge, es decir 256 GPUs NVIDIA H100. Si el trabajo se cuelga a la una de la madrugada y nadie lo nota hasta las nueve, se pierden 256 horas de instancia o 2.048 horas de GPU. Con el precio bajo demanda de HyperPod en la región de Virginia del Norte, unos 66 dólares por hora de instancia, el atasco cuesta cerca de 16.900 dólares. Con una regla de detección de quince minutos, el coste baja a unos 530 dólares: un ahorro de aproximadamente 16.400 dólares por incidente.

La tercera pieza es el agente de monitorización de recursos de Kubernetes. Vigila la capa de orquestación de un clúster de EKS en busca de plugins de dispositivos que entran en bucle de caída, DaemonSets que no arrancan y nodos marcados con taints. Cuando un trabajo falla, informa de qué pods y qué nodos estaban implicados mediante eventos de Kubernetes y registros de CloudWatch, en lugar de dejar un error genérico que no menciona la causa.

Merece la pena detenerse en el problema de la corrupción silenciosa de datos. En su trabajo sobre el modelo Llama 3 de 405.000 millones de parámetros, Meta documentó 419 interrupciones inesperadas durante 54 días de preentrenamiento, y atribuyó seis de ellas precisamente a corrupción silenciosa. Es decir, una de cada setenta caídas no venía de un fallo evidente, sino de una GPU que calculaba mal sin avisar. Ese tipo de avería es la que MultiNodeTrainingValidation intenta cazar antes de que el trabajo empiece.

La configuración es sencilla para quien ya opera HyperPod. Basta con añadir MultiNodeTrainingValidation a OnStartDeepHealthChecks en el grupo de instancias, junto a InstanceStress e InstanceConnectivity. También se puede lanzar bajo demanda con la API StartClusterHealthCheck antes de un preentrenamiento largo. Los resultados se escriben en el flujo DeepHealthCheckResults del grupo de logs de CloudWatch y cada instancia queda etiquetada como Passed o Failed, de modo que un filtro de kubectl basta para saber qué nodos están limpios.

Hay que leer el anuncio con la cautela habitual de una nota de producto. Una prueba superada significa que la instancia entrenó correctamente esa carga de referencia fija, no que el trabajo propio del cliente vaya a converger. Amazon lo dice con claridad. Y el tiempo de espera existe: las instancias no aceptan cargas de trabajo hasta que terminan los chequeos, así que quien añada capacidad debe planificar ese margen.

Resumen

  • Amazon añade a SageMaker HyperPod tres capacidades para detectar fallos que el chequeo de hardware nodo a nodo no ve.
  • MultiNodeTrainingValidation entrena un modelo pequeño para detectar GPUs que calculan mal y producen pérdida NaN en entrenamientos reales.
  • La detección de trabajos colgados cancela trabajos de Slurm sin progreso mediante un agente en cada nodo y eventos en CloudWatch.
  • El agente de monitorización de recursos de Kubernetes informa de pods y nodos implicados cuando un trabajo falla en EKS.
  • Amazon cifra el ahorro de un único atasco detectado en quince minutos en unos 16.400 dólares sobre 256 GPUs NVIDIA H100.
Opinión

Como técnico de redes, el anuncio me interesa menos por el entrenamiento en sí y más por lo que revela del estado real de los clústeres de IA. Estamos construyendo infraestructura que consume miles de GPUs y cuyo principal enemigo no es el ataque externo, sino el error silencioso: un enlace que degrada, una NIC que no se queja, un cálculo que se desvía. Es exactamente el mismo problema que perseguimos desde hace décadas en redes de telecomunicaciones con las métricas de extremo a extremo. Verificar que un nodo responde no es verificar que el servicio funciona.

Por eso me parece acertado que AWS mida el goodput y no solo la disponibilidad. Un clúster al 99 por ciento de disponibilidad puede estar entrenando a la mitad de velocidad sin que nadie lo note. La detección de colgados es la pieza con mejor retorno por línea de código: quince minutos frente a ocho horas marca la diferencia entre un incidente asumible y una factura que nadie quiere explicar.

Lo que falta por ver es la interoperabilidad. Todo esto vive dentro de HyperPod y de CloudWatch. Quien opera infraestructura híbrida, con parte de GPUs en local y parte en varias nubes, necesita las mismas señales exportadas a un sistema común de observabilidad. Si las métricas de goodput se quedan encerradas en una consola, la calidad del entrenamiento seguirá siendo un dato que cada proveedor cuenta a su manera.