NVIDIA montre des agents IA qui construisent des simulations dans Omniverse, des turbines à gaz aux humanoïdes qui franchissent des obstacles

Compilé par MetaPatchAI · Publié 30 octobre 2026, 1 h 38 ET

NVIDIA Shows AI Agents Building Omniverse Simulations, From Gas Turbines to Hurdling Humanoids

30 octobre 2026 — Construire une simulation physique demandait autrefois des semaines à relier à la main assets, solveurs et moteurs de rendu. NVIDIA affirme désormais que des ingénieurs de ses propres équipes confient une grande partie de ce travail à des agents IA de pointe, qu'ils guident en langage courant. Dans un billet « Into the Omniverse » publié le jeudi 29 oct., l'entreprise a présenté plus d'une dizaine de projets où des développeurs ont guidé des modèles comme GPT-6 Astra d'OpenAI pour assembler des applis de simulation avec les bibliothèques NVIDIA Omniverse.

Le principe : les développeurs dirigent, les agents construisent

Selon NVIDIA, le flux de travail est simple à décrire : les développeurs donnent des instructions en langage naturel aux agents IA, examinent les résultats et orientent les modifications, tandis qu'Omniverse fournit la physique, le rendu et la simulation de capteurs accélérés par GPU. NVIDIA dit qu'elle continuera d'ajouter des exemples venant de ses équipes et de l'écosystème au sens large.

Temps forts de la vitrine

Test de charge en entrepôt. L'ingénieur principal de NVIDIA Bhavik Sanganee a utilisé Astra pour construire et faire monter en charge une simulation d'entrepôt. Selon le billet, avec 80 convoyeurs, 40 bras robotiques et 800 caisses, la scène a tenu 30 images par seconde en Full HD pendant un test de deux minutes, et les bras ont réussi 640 placements de caisses. En doublant encore la scène, les performances ont chuté, et les tests ont attribué ce ralentissement au pipeline physique et de contrôle des robots.

Appli « et si » pour turbine à gaz. Pradeep Kaushik, de l'équipe relations développeurs d'Omniverse chez NVIDIA, a chargé Astra de créer une appli de jumeau numérique autour d'une turbine à gaz et d'un générateur simulés. Les utilisateurs peuvent régler la charge, la température ambiante et la composition du carburant, et selon NVIDIA, six procédures de test couvrent des scénarios comme une vanne de carburant bloquée ou une erreur de capteur d'échappement. L'agent a utilisé Cantera pour la thermochimie et SciPy pour la dynamique des équipements.

Robo Olympics. Tae Kim, qui dirige l'ingénierie et le produit d'Omniverse, a utilisé des vidéos de sport et des instructions textuelles pour qu'Astra crée des contrôleurs pour des humanoïdes Unitree G1 simulés. Dans une expérience, selon NVIDIA, le robot a franchi un obstacle unique dans 64 essais de simulation sur 100.

Routage de câbles pour l'assemblage électronique. La responsable marketing robotique Oyindamola Omotuyi a chargé Astra de construire une simulation avec Isaac Lab, la physique Newton et une pince Robotiq manipulant un câble souple pour une insertion USB-C, avec une composante d'apprentissage par renforcement.

Environnement de test pour la conduite autonome. Doyub Kim a fait construire par Astra « Zero to Alpamayo », un environnement de simulation de conduite réutilisable basé sur Market Street à San Francisco, qui relie trafic, simulation de capteurs RTX et le modèle de conduite Alpamayo.

Jumeaux numériques calés sur les capteurs. Ashley Reid, qui travaille sur la validation des capteurs RTX, a chargé des agents Astra et Claude Fable 5 de comparer les sorties simulées de caméra et de lidar à des données enregistrées. Selon NVIDIA, les agents ont créé deux jumeaux numériques de zéro et en ont amélioré deux autres en environ trois jours.

Parmi les autres exemples : la reconstruction d'un modèle de bâtiment vide à partir de scans sur site, la conversion du fichier CAO d'un robot ABB YuMi en asset prêt pour la simulation, une scène de cuisine assemblée avec la SimReady Central Library, un simulateur d'entrepôt avec humanoïdes, un test robotique de démontage de suspension automobile et un modèle de la Station spatiale internationale dans le navigateur, construit avec des assets de la NASA.

Les réserves émises par NVIDIA

Le billet reste prudent sur ce que ces démos prouvent. À propos du robot YuMi, NVIDIA note que les tests ont montré le comportement en conditions simulées et que les propriétés physiques estimées « were not calibrated against the real robot » (n'ont pas été calibrées sur le robot réel). Pour le routage de câbles, les prochaines étapes incluent l'utilisation d'informations de capteurs qu'un robot physique pourrait réellement obtenir. Ce sont des prototypes et des expériences internes, pas des produits commercialisés.

Pourquoi c'est important pour l'IA et le jeu vidéo

Omniverse vise l'industrie et la robotique, mais le principe sous-jacent, utiliser un agent pour assembler assets, physique et rendu par la conversation, ressemble beaucoup à la façon dont les développeurs de jeux prototypent niveaux et systèmes. NVIDIA met aussi en avant des « agent skills » et des bibliothèques comme ovrtx (rendu), ovstage (mises à jour de scène) et ovstream (streaming dans le navigateur) comme les briques utilisées par les agents.

Ce qui est confirmé / ce qui ne l'est pas

Confirmé (blog de NVIDIA, 29 oct. 2026) : - Des employés de NVIDIA ont utilisé des agents IA de pointe, dont GPT-6 Astra, avec les bibliothèques Omniverse pour construire les projets de simulation présentés. - Les chiffres de la démo d'entrepôt (80 convoyeurs, 40 bras, 800 caisses, 30 i/s en Full HD, 640 placements) et le résultat de 64 sur 100 pour l'obstacle sont déclarés par NVIDIA. - La SimReady Central Library propose plus de 2 000 assets USD prêts pour la simulation, selon NVIDIA.

Non confirmé : - Une reproduction indépendante des résultats des démos. - La part de correction humaine nécessaire à chaque projet au-delà de ce que décrit NVIDIA. - Des dates de sortie commerciale pour les prototypes présentés ; NVIDIA les présente comme des exemples, pas comme des produits.

Vidéo

Vidéo de NVIDIA sur YouTube.

Sources

Officiel : NVIDIA Blog, « Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents » (29 oct. 2026) : https://blogs.nvidia.com/blog/developers-simulation-frontier-ai-agents/