Agentes

NVIDIA convierte Omniverse en el taller de los agentes de IA

NVIDIA documenta un patrón común: agentes de IA de frontera que ensamblan, prueban y corrigen simulaciones sobre las bibliotecas de Omniverse, con física y render acelerados por GPU.

NVIDIA convierte Omniverse en el taller de los agentes de IA

Los agentes de IA ya construyen simulaciones físicas en Omniverse

NVIDIA ha publicado un recorrido por los proyectos que su comunidad de desarrolladores está construyendo con modelos de frontera conectados a las bibliotecas de Omniverse. La idea de fondo es sencilla de explicar y enorme en consecuencias: en lugar de que un ingeniero escriba a mano cada línea de una simulación, es un agente de IA el que ensambla el escenario, conecta la física, ajusta el render y comprueba que la escena se comporta como debe. El desarrollador dirige con lenguaje natural, revisa resultados y corrige el rumbo.

Las bibliotecas de Omniverse aportan lo que un modelo de lenguaje no tiene por sí mismo: física acelerada por GPU, renderizado y simulación de sensores. Sobre esa base, los agentes trabajan con herramientas reales de ingeniería. Entre los modelos citados aparecen GPT-6 Astra, GPT-6 Sol, Claude Code con Claude Opus 5.5 y Astra en tareas de modelado y control.

El caso más llamativo por su escala industrial es el de Falkor, una compañía de KONGSBERG. Su plataforma Falkor Surface convierte datos de diseño y de ingeniería asistida por ordenador en gemelos digitales de planta completa usando el modelo GPT-6 Astra. El sistema corre sobre bibliotecas de Omniverse y GPUs NVIDIA RTX PRO 6000 Server Edition en Microsoft Azure, con simulación física avanzada. Los agentes entienden documentación técnica densa, relaciones espaciales y física del mundo real, de modo que los ingenieros pueden probar planes antes de desplazarse a la planta y reducir retrasos y errores costosos.

En robótica, el ejemplo de Microduck demuestra hasta dónde llega el enfoque. El desarrollador Maziyar Panahi dirigió a Claude Code con Claude Opus 5.5 para montar una unidad de cuidados intensivos con 13 activos hospitalarios de SimReady y probar dentro de ella robots Microduck. Los activos llegaban con ajustes de física Newton ya embebidos, así que no hubo que modelar muebles ni crear geometría de colisión desde cero. El motor Newton permitió replicar la sala completa y ejecutar cientos de copias en una sola GPU RTX PRO 6000. En una prueba de 256 salas, 766 de 768 Microducks seguían en pie tras 14 segundos simulados. El trabajo del agente llevó unas dos horas.

También hay espacio para el ajuste fino entre humano y máquina. Nick Scarcella, artista técnico senior del equipo BondLab de NVIDIA, usó agentes basados en Claude junto a bibliotecas CUDA e Isaac Sim para recrear un sintetizador OP-1 a partir de imágenes de producto y manuales, exportarlo a OpenUSD y probarlo en Houdini y Blender. El equipo dispone ahora de contenido editable que puede inspeccionar y renderizar en varias aplicaciones, en lugar de un volcado opaco.

La comunidad también ha validado el camino corto. Michael Wagner, desarrollador externo, dirigió GPT-6 Astra para modelar un entorno de estudio en Blender a partir de dos imágenes de referencia, y después usó Claude Code para construir una aplicación que busca activos de SimReady Central por voz y los manipula en realidad virtual. El agente trabajó unas ocho horas; la aplicación se montó en un fin de semana con una estación de trabajo NVIDIA RTX 6000 Ada y un Meta Quest 3. Sobre el terreno, las bibliotecas de Omniverse repartieron el trabajo: ovstage compartió la escena OpenUSD, ovrtx la renderizó, ovxr habilitó la realidad virtual y ovphysx ejecutó la física.

Lo interesante del relato de Wagner no es el éxito, sino el fallo. Las pruebas automatizadas no detectaban problemas que él sentía dentro del casco, como objetos temblando al agarrarlos. Reportó los síntomas, guió al agente a través de los cambios y verificó la interacción él mismo hasta que actualizar el control de agarre una vez por fotograma resolvió el temblor. Su conclusión sirve como manual de uso: dale al agente renders y registros que pueda inspeccionar, y después comprueba la experiencia de forma directa.

Hay más piezas en el mismo patrón. Jens Jebens, responsable de producto de OpenUSD en NVIDIA, dirigió a Astra para modelar una suspensión de coche en PTC Onshape y configurarla en Isaac Sim, usando la retroalimentación de la simulación para rediseñar una llave que alcanzase los tornillos; la extracción de un componente de la suspensión se dio por buena dentro del entorno simulado. La startup Sensori usó el SimReady Publisher de Onshape, construido con bibliotecas de Omniverse, para trasladar su robot Yuri a Isaac Sim con geometría, articulaciones y datos de configuración, y evaluar cambios de diseño sin rehacer el modelo cada vez.

Otro equipo reconstruyó una nave industrial a partir de fotos panorámicas y nubes de puntos, eliminando estanterías y maquinaria para dejar un edificio editable donde probar distribuciones de automatización. Y Pradeep Kaushik montó una aplicación de análisis de escenarios sobre una turbina de gas simulada: el usuario ajusta carga, temperatura ambiente y composición del combustible, y compara potencia, rendimiento y consumo, incluyendo fallos como una válvula de combustible atascada o un sensor de escape averiado.

La puerta de entrada para muchos es SimReady Central Library, anunciada en GTC Berlin, con más de 2.000 activos USD listos para simulación cedidos por fabricantes de equipos. Un desarrollador de la documentación de Omniverse dirigió a un agente para montar una cocina con 180 colocaciones procedentes de 63 activos distintos y 18 piezas de geometría propia, revisando renders de Isaac Sim hasta dar el resultado por bueno.

Resumen

  • NVIDIA documenta un patrón común: agentes de IA de frontera que ensamblan, prueban y corrigen simulaciones sobre las bibliotecas de Omniverse, con física y render acelerados por GPU.
  • Falkor (KONGSBERG) construye gemelos digitales de planta con GPT-6 Astra sobre RTX PRO 6000 Server Edition en Azure para validar planes industriales antes de ir a campo.
  • Una prueba con robots Microduck mantuvo 766 de 768 unidades en pie tras 14 segundos simulados en 256 salas, gracias a activos con física Newton ya integrada.
  • SimReady Central Library reúne más de 2.000 activos USD listos para simulación, lo que rebaja el coste de arrancar cualquier proyecto de robótica.
Opinión

Como técnico de redes y telecomunicaciones, lo que me interesa aquí no es el escaparate de modelos, sino dónde se ejecuta todo esto. Cada uno de estos proyectos es, en el fondo, una carga de inferencia con requisitos de baja latencia y de ancho de banda muy particulares: escenas OpenUSD compartidas, renders que vuelven al cliente y, en el caso de la realidad virtual, una conversación constante entre el casco y el servidor. Eso empuja la simulación hacia el borde de la red y hacia centros de datos con interconexión de 100 Gbps o superior entre nodos de GPU.

También me parece revelador el detalle de los contenedores en la nube sin soporte gráfico, resuelto separando simulación de renderizado. Es exactamente el tipo de compromiso que hacemos a diario cuando una ruta o una política de red no permite el flujo que necesitamos: se parte la carga, se mueve el dato donde hay capacidad y se vuelve a unir. La lección práctica para quien diseñe estas plataformas es que la orquestación de agentes y la orquestación de red se parecen cada vez más, y que sin observabilidad real el agente optimiza a ciegas.

Fuente original

Esta entrada traduce y resume un artículo publicado originalmente en NVIDIA Blog.

https://blogs.nvidia.com/blog/developers-simulation-frontier-ai-agents/