Exa optimiza sus embeddings en AWS Neuron y gana un 47 %
El buscador semántico Exa, que indexa la web con una base de datos vectorial propia, ha detallado en el blog de AWS Machine Learning cómo ha optimizado su inferencia de embeddings sobre el hardware Neuron, con Inferentia2 y Trainium2, usando kernels NKI escritos a medida. El resultado combinado es una mejora del 47 % en rendimiento y en coste por millón de documentos embebidos respecto a su implementación inicial.
El detonante fue una operación de backfill. Al migrar a un modelo de documento superior, Exa seleccionó 30.000 millones de documentos de alta prioridad para re-embeber, lo que duplicó temporalmente la carga de inferencia. Esa duplicación obligaba a revisar la elección de hardware, porque a la escala de decenas o cientos de miles de millones de documentos, cualquier mejora de coste por documento se multiplica en una cifra absoluta enorme.
La ruta que aparece en la web va de los rastreadores a una tubería asíncrona de parseo, moderación y filtrado, y de ahí al embebido, cuyo resultado se sirve desde la base de datos vectorial. La carga de trabajo de Exa corre sobre un único NeuronCore, de modo que empaquetan pods de Kubernetes en instancias más grandes sin dejar núcleos ociosos, lo que da homogeneidad de contenedores en toda la flota de embeddings. El mismo proceso se ejecuta en un NeuronCore de Trainium2 y escala igual por paralelismo de datos.
La optimización fue un avance por pasos, partiendo de una compilación ingenua. El primer hito fue la optimización del layout de pesos, que elimina transposiciones innecesarias al alinear la disposición de los pesos con la planificación del modelo. Después probaron autocast, para que el compilador reduzca las multiplicaciones de matrices a menor precisión conservando el rango dinámico; las salidas de ese downcast pasaron la puerta de corrección con 0,999 de similitud coseno frente al modelo de referencia. La biblioteca NKI aportó kernels precompuestos para las capas más comunes, y un kernel de atención de tipo drop-in dio el siguiente salto de rendimiento.
El cuello de botella real apareció después. El perfilado mostraba grandes cantidades de spill y recarga desde la memoria de alto ancho de banda, lo que impedía aprovechar el Tensor Engine durante el forward pass. Usando un kernel MLP de tipo drop-in como andamio para localizar los fallos de la implementación precompilada, escribieron un kernel propio de MLP fusionado SwiGLU con esquema weight-stationary que eliminó esas paradas de HBM. El siguiente obstáculo fue el paralelismo de datos: el rendimiento medido por acelerador con el segundo núcleo ocioso era sensiblemente mayor que el obtenido con ambos núcleos activos, una brecha que señalaba que el paralelismo teórico debía estar muy por encima del real. Para cerrarla escribieron operaciones de matrices fusionadas que resuelven las multiplicaciones en una sola instrucción en lugar de varios pasos, reduciendo los viajes de ida y vuelta a HBM. Esa fue la mejora decisiva.
Todo esto lo desarrollaron agentes de IA, no solo engineers humanos. Exa construyó un arnés de tres partes que permite a los agentes verificar la corrección, medir el rendimiento y perfilar la carga de trabajo para decidir el siguiente paso. Cada agente compila un ejecutable de Neuron, comprueba un forward pass contra un conjunto de datos de referencia que debe alcanzar 0,999 de similitud coseno, perfila una pasada y lanza un referencia de saturación de 30 minutos sobre hardware real. El arnés admite agentes de distinto coste: modelos ligeros se encargan del trabajo tedioso como buscar parámetros del compilador en malla, los agentes de razonamiento contrastan hipótesis complejas y localizan cuellos de botella, y los generadores de código más potentes escriben los kernels a medida. La validación en cada paso evita que los modelos deriven.
Exa advierte también de un límite que no es de software. Solo ha optimizado Inferentia2 en la Región de Oregón, y el trabajo se ha trasladado directamente a Trainium2. Afirman que fijar una región o un tipo de instancia casi garantiza una escasez de cómputo, porque la disponibilidad spot y on demand varía por región y porque hay organizaciones con muchos consumidores compitiendo consigo mismas. Su solución es programar el cómputo en varias regiones desde un único plano de control de Kubernetes, comparando rendimiento por dólar entre tipos de instancia y empaquetando los pods en los nodos más baratos, reprogramando según se mueve la demanda de embebido.
Exa ha optimizado su inferencia de embeddings sobre AWS Neuron, con Inferentia2 y Trainium2, y con kernels NKI escritos a medida, alcanzando un 47 % de mejora en rendimiento y coste por millón de documentos embebidos frente a su implementación inicial.
El punto de partida fue un backfill de 30.000 millones de documentos que duplicó la carga de inferencia y obligó a revisar la elección de hardware.
La optimización combinó el ajuste del layout de pesos, autocast con reducción de precisión validado con 0,999 de similitud coseno, un kernel propio de MLP fusionado SwiGLU que eliminó las paradas de HBM, y una fusión de multiplicaciones de matrices que resolvió el cuello de botella del paralelismo de datos.
Las optimizaciones fueron desarrolladas por agentes de IA dentro de un arnés de tres partes que valida corrección, mide rendimiento y perfila la carga de trabajo, con un referencia de saturación de 30 minutos sobre hardware real.
Exa advierte del riesgo de fijar una sola región o un solo tipo de instancia y programa el cómputo en varias regiones desde un único plano de control de Kubernetes, eligiendo los nodos más baratos según rendimiento por dólar.
Esto es un problema de red pura, no de inteligencia artificial. Exa habla de coste por documento embebido, y eso es una métrica de infraestructura: cuellos de botella de memoria de alto ancho de banda, coste de las tareas de cómputo y cómo se reparte la carga entre regiones. La brecha entre el rendimiento con un núcleo ocioso y con ambos activos es exactamente el tipo de cosa que se ve en un enlace o en un servidor saturado: el agregado teórico no se convierte en rendimiento real si no se revisa el reparto.
El paralelismo entre Inferentia2 y Trainium2, con el mismo kernel NKI reutilizado, es un buen recordatorio de lo que ocurre en redes: una optimización bien hecha a nivel de plataforma se traslada a la siguiente generación de hardware sin reescribir nada. El equivalente en mi día a día es un ajuste de enrutamiento o de buffer que vale para varias generaciones de switch.
Lo que más me interesa para la red es la parte final, la de programar cómputo en varias regiones y elegir los nodos más baratos. Eso es reparto de carga y residencia de datos con las mismas reglas de la infraestructura tradicional, con el añadido de que un cambio de SKU de instancia es un cambio de topología. Si el diseño asume un único tipo de instancia, la escasez aparece tarde y de forma difícil de diagnosticar.
Y el uso de agentes para escribir kernels tiene un matiz que conviene no perder de vista: la validación con umbral de similitud coseno y el perfilado automático son los que hacen que el proceso sea fiable. Sin ese arnés de comprobación, escribir kernels a medida con un modelo es una forma muy cara de obtener resultados incorrectos.