Coup de projecteur
8 avril 2026
L'UE5 est en passe de devenir la plateforme de prédilection pour la simulation robotique
Le secteur de la simulation est en train de vivre un tournant majeur : il transitionne de la création d'outils formant les humains à celle d'outils entraînants des machines.
Pour ce faire, elle a besoin de systèmes IA qui fonctionnent, perçoivent et interagissent directement avec le monde réel. C'est là que l'IA physique entre en jeu.
En intégrant des modèles d'IA avec des capteurs, des caméras et des actionneurs, ces systèmes (comme des robots, des véhicules autonomes ou des drones) peuvent comprendre, raisonner et agir en temps réel tout en s'adaptant à des environnements imprévisibles.
L'Unreal Engine est en passe de devenir la plateforme de référence pour les équipes travaillant dans la robotique, non seulement en tant que simulateur, mais également comme une usine de données synthétiques et une plateforme d'autonomie en temps réel destinées aux systèmes robotiques nouvelle génération.
Entraîner un robot pour qu'il puisse fonctionner dans le monde réel nécessite d'énormes quantités de données : des images annotées pour la perception, des interactions physiques pour les politiques de contrôle et des scénarios de cas extrêmes pour la validation de la sécurité.
La collecte de ces données dans le monde physique est lente, coûteuse, dangereuse et fondamentalement limitée : il est impossible de mettre en scène un millier d'accidents de voiture, un ouragan dans un entrepôt ou de rejouer une complication chirurgicale à la demande.
C'est pourquoi la simulation est devenue un élément essentiel dans le développement de l'IA physique moderne. Avec la simulation non négociable, tout repose sur une question : "quelle plateforme offre les meilleures performances en termes de perception, avec les coûts les moins élevés et la meilleure vitesse d'itération ?"
Pour les équipes travaillant dans la robotique, l'Unreal Engine s'impose de plus en plus comme la réponse. La raison est simple : dans la simulation robotique, le photoréalisme n'est pas qu'un simple avantage à avoir ; c'est une spécification technique.
Les puissantes capacités graphiques du moteur font de lui la meilleure option pour combler le fossé entre simulation et réalité : la différence entre ce que voit un modèle en simulation et ce qu'il rencontre réellement lorsqu'il est intégré à un robot physique.
La logique est simple : plus les images de synthèse ressemblent à de vraies photographies, moins le modèle doit travailler pour généraliser de la simulation à la réalité.
L'Unreal Engine 5 a introduit trois technologies qui ont fondamentalement changé la donne sur ce point, non seulement en offrant un photoréalisme, mais aussi en le faisant en temps réel.
La géométrie micropolygonale virtualisée Nanite permet de rendre en temps réel des ressources en très haute résolution. Ce procédé est idéal pour les importations CAO, les numérisations de photogrammétrie et les environnements industriels denses.
L'illumination globale dynamique Lumen permet de calculer en temps réel des rebonds de lumière et des reflets indirects quasi infinis. Il est alors possible d'obtenir un éclairage réaliste qui réagit aux changements de l'éclairage direct (tel qu'une lumière qui s'allume) ou de la géométrie (comme une porte qui s'ouvre).
Enfin, le ray tracing matériel (dont la branche de NVIDIA accélérée par le RTX) offre des reflets, des ombres et des réponses aux matériaux réalistes.
General Robotics utilise l'Unreal Engine afin de créer des environnements virtuels réalistes destinés au test et à la démonstration de systèmes robotiques autonomes. Les plateformes robotiques ont ainsi accès à une simulation évolutive et à une validation visuelle.
"Le photoréalisme et le contrôle du monde de l'Unreal Engine permettent de prédire les comportements du monde réel dans tout un éventail de scénarios, explique Sai Vemprala, cofondateur et directeur technique de General Robotics. L'autonomie des agents nous offre de plus une évolutivité."
Pour ce faire, elle a besoin de systèmes IA qui fonctionnent, perçoivent et interagissent directement avec le monde réel. C'est là que l'IA physique entre en jeu.
En intégrant des modèles d'IA avec des capteurs, des caméras et des actionneurs, ces systèmes (comme des robots, des véhicules autonomes ou des drones) peuvent comprendre, raisonner et agir en temps réel tout en s'adaptant à des environnements imprévisibles.
L'Unreal Engine est en passe de devenir la plateforme de référence pour les équipes travaillant dans la robotique, non seulement en tant que simulateur, mais également comme une usine de données synthétiques et une plateforme d'autonomie en temps réel destinées aux systèmes robotiques nouvelle génération.
Le photoréalisme : une spécification technique
Entraîner un robot pour qu'il puisse fonctionner dans le monde réel nécessite d'énormes quantités de données : des images annotées pour la perception, des interactions physiques pour les politiques de contrôle et des scénarios de cas extrêmes pour la validation de la sécurité.La collecte de ces données dans le monde physique est lente, coûteuse, dangereuse et fondamentalement limitée : il est impossible de mettre en scène un millier d'accidents de voiture, un ouragan dans un entrepôt ou de rejouer une complication chirurgicale à la demande.
C'est pourquoi la simulation est devenue un élément essentiel dans le développement de l'IA physique moderne. Avec la simulation non négociable, tout repose sur une question : "quelle plateforme offre les meilleures performances en termes de perception, avec les coûts les moins élevés et la meilleure vitesse d'itération ?"
Pour les équipes travaillant dans la robotique, l'Unreal Engine s'impose de plus en plus comme la réponse. La raison est simple : dans la simulation robotique, le photoréalisme n'est pas qu'un simple avantage à avoir ; c'est une spécification technique.
Les puissantes capacités graphiques du moteur font de lui la meilleure option pour combler le fossé entre simulation et réalité : la différence entre ce que voit un modèle en simulation et ce qu'il rencontre réellement lorsqu'il est intégré à un robot physique.
La logique est simple : plus les images de synthèse ressemblent à de vraies photographies, moins le modèle doit travailler pour généraliser de la simulation à la réalité.
L'Unreal Engine 5 a introduit trois technologies qui ont fondamentalement changé la donne sur ce point, non seulement en offrant un photoréalisme, mais aussi en le faisant en temps réel.
La géométrie micropolygonale virtualisée Nanite permet de rendre en temps réel des ressources en très haute résolution. Ce procédé est idéal pour les importations CAO, les numérisations de photogrammétrie et les environnements industriels denses.
L'illumination globale dynamique Lumen permet de calculer en temps réel des rebonds de lumière et des reflets indirects quasi infinis. Il est alors possible d'obtenir un éclairage réaliste qui réagit aux changements de l'éclairage direct (tel qu'une lumière qui s'allume) ou de la géométrie (comme une porte qui s'ouvre).
Enfin, le ray tracing matériel (dont la branche de NVIDIA accélérée par le RTX) offre des reflets, des ombres et des réponses aux matériaux réalistes.
General Robotics utilise l'Unreal Engine afin de créer des environnements virtuels réalistes destinés au test et à la démonstration de systèmes robotiques autonomes. Les plateformes robotiques ont ainsi accès à une simulation évolutive et à une validation visuelle.
"Le photoréalisme et le contrôle du monde de l'Unreal Engine permettent de prédire les comportements du monde réel dans tout un éventail de scénarios, explique Sai Vemprala, cofondateur et directeur technique de General Robotics. L'autonomie des agents nous offre de plus une évolutivité."
Courtesy of General Robotics
Le moteur constitue la base de l'évaluation des robots agents : un agent orchestre et exécute des évaluations des comportements de l'IA robotique dans plusieurs environnements et conditions, identifie les cas extrêmes et mesure les performances avant le déploiement.
De plus, comme l'Unreal Engine fonctionne sous macOS, les ingénieurs robotiques peuvent faire tourner leurs simulateurs nativement sur leurs ordinateurs portables, plutôt que de se connecter à Linux à partir d'un SSH. Cette méthode offre plusieurs avantages : une latence plus faible, de meilleures performances graphiques et un flux de travail simplifié.
Dans de nombreuses tâches de manipulation et de mobilité, des imprécisions au niveau des dynamiques de contact ou du comportement des actionneurs peuvent provoquer des défaillances bien avant les différences visuelles.
Dans ce contexte, le système de physique Chaos de l'Unreal Engine, qui utilise une double précision est un outil puissant pour entraîner l'évolutivité, simuler la perception et interagir en temps réel avec des environnements photoréalistes.
Les ingénieurs peuvent également modéliser le comportement physique réaliste des systèmes, à l'aide d'outils tiers tels que AGX Dynamics pour l'Unreal Engine, un système de simulation en temps réel de la physique très réaliste développé par Algoryx.
De plus, comme l'Unreal Engine fonctionne sous macOS, les ingénieurs robotiques peuvent faire tourner leurs simulateurs nativement sur leurs ordinateurs portables, plutôt que de se connecter à Linux à partir d'un SSH. Cette méthode offre plusieurs avantages : une latence plus faible, de meilleures performances graphiques et un flux de travail simplifié.
La simulation de la physique
Seul, le photoréalisme ne permet pas de combler le fossé entre simulation et réalité. Une physique (des contacts précis, de la friction, des déformables, des dynamiques d'actionneur) et des capteurs (des obturateurs déroulants, l'intensité du LIDaR, la dérive des centrales inertielles, la latence) réalistes, ainsi qu'une modélisation appropriée de la boucle de contrôle sont tout aussi importants.Dans de nombreuses tâches de manipulation et de mobilité, des imprécisions au niveau des dynamiques de contact ou du comportement des actionneurs peuvent provoquer des défaillances bien avant les différences visuelles.
Dans ce contexte, le système de physique Chaos de l'Unreal Engine, qui utilise une double précision est un outil puissant pour entraîner l'évolutivité, simuler la perception et interagir en temps réel avec des environnements photoréalistes.
Les ingénieurs peuvent également modéliser le comportement physique réaliste des systèmes, à l'aide d'outils tiers tels que AGX Dynamics pour l'Unreal Engine, un système de simulation en temps réel de la physique très réaliste développé par Algoryx.
Courtesy of Algoryx Simulation
AGX permet de simuler la totalité de la physique des machines de manière réaliste : les mécaniques multicorps, les systèmes hydrauliques, les transmissions, les moteurs, les chenilles et les roues, ou encore des terrains dynamiquement déformables.
"Les machines autonomes doivent raisonner en se basant sur la physique, explique Kenneth Bodin, PDG et cofondateur d'Algoryx. Si la simulation ne capture pas la manière exacte dont la machine interagit avec le monde, l'IA apprendra de mauvais comportements. En associant la simulation physique de qualité industrielle d'AGX aux environnements photoréalistes de l'Unreal Engine, nous pouvons concevoir des mondes numériques dans lesquels les machines autonomes peuvent être entraînées, testées et validées à grande échelle."
Pour les ingénieurs, ce pipeline est évolutif et automatisé. RealityScan exporte des données d'enregistrement et de pose critiques tout en prenant en charge les formats standards de vision par ordinateur (CV) (tels que Colmap). Son alignement d'images de pointe permet de créer des projections gaussiennes : des ressources photoréalistes pouvant être produites avec relativement peu d'efforts.
RealityScan peut fonctionner sur des serveurs Linux et être contrôlé par le plug-in Remote Command ou des scripts CLI. Il est ainsi possible de produire des pipelines de photogrammétrie automatisés qui traitent des numérisations en continu sur plusieurs machines et qui envoient les résultats directement vers l'Unreal Engine.
Au lieu d'avoir recours à une intervention humaine pour étiqueter les images après leur capture, le moteur peut produire automatiquement des étiquettes très précises alors qu'il est en train de rendre l'image.
"Les machines autonomes doivent raisonner en se basant sur la physique, explique Kenneth Bodin, PDG et cofondateur d'Algoryx. Si la simulation ne capture pas la manière exacte dont la machine interagit avec le monde, l'IA apprendra de mauvais comportements. En associant la simulation physique de qualité industrielle d'AGX aux environnements photoréalistes de l'Unreal Engine, nous pouvons concevoir des mondes numériques dans lesquels les machines autonomes peuvent être entraînées, testées et validées à grande échelle."
La fusion et la reconstruction de plusieurs sources données à l'aide de RealityScan
En associant une photogrammétrie de pointe à la technologie du temps réel, les équipes travaillant dans la robotique peuvent construire un pipeline puissant afin de concevoir des environnements virtuels réalistes. Un exemple édifiant est le flux de travail éprouvé entre RealityScan et l'Unreal Engine. Il permet de convertir rapidement des sites et des objets du monde réel en des jumeaux numériques destinés à la simulation robotique. RealityScan prend désormais en charge les nuages de points SLAM en plus de la photogrammétrie traditionnelle et du LiDAR, éliminant ainsi le goulot d'étranglement de la création d'environnements et permettant une génération rapide d'environnements d'entraînement et de régression synthétiques qui correspondent étroitement aux domaines de déploiement. C'est d'une importance capitale pour réduire l'écart entre la simulation et la réalité, surtout au niveau de la perception de la caméra.Pour les ingénieurs, ce pipeline est évolutif et automatisé. RealityScan exporte des données d'enregistrement et de pose critiques tout en prenant en charge les formats standards de vision par ordinateur (CV) (tels que Colmap). Son alignement d'images de pointe permet de créer des projections gaussiennes : des ressources photoréalistes pouvant être produites avec relativement peu d'efforts.
RealityScan peut fonctionner sur des serveurs Linux et être contrôlé par le plug-in Remote Command ou des scripts CLI. Il est ainsi possible de produire des pipelines de photogrammétrie automatisés qui traitent des numérisations en continu sur plusieurs machines et qui envoient les résultats directement vers l'Unreal Engine.
Des données synthétiques pour un entraînement rapide et économique
Comme l'Unreal Engine génère chaque pixel mathématiquement, il connaît déjà tout à propos de la scène : l'emplacement de chaque objet, sa distance, son matériau et la manière dont il se déplace.Au lieu d'avoir recours à une intervention humaine pour étiqueter les images après leur capture, le moteur peut produire automatiquement des étiquettes très précises alors qu'il est en train de rendre l'image.
Cette méthode présente un certain nombre d'avantages : elle supprime les désaccords entre les annotateurs, elle évite les étiquettes incohérentes dans les ensembles de données (un transpalette étiqueté en tant que camion, par exemple) et elle élimine le besoin d'une boucle de contrôle de qualité onéreuse.
De plus, son impact économique est indéniable : entraîner des simulations sur des données synthétiques réduit le coût par image de manière significative si cet entraînement est réalisé à grande échelle.
Avec la plupart des pipelines de perception, le seuil de rentabilité où les données synthétiques deviennent plus rentables que les annotations manuelles arrive bien plus tôt que prévu par les équipes, souvent après seulement quelques dizaines de milliers d'images.
Comme la plupart des modèles robotiques nécessitent des millions d'images, cela signifie qu'utiliser des données synthétiques peut produire d'énormes économies.
Cela se reflète largement dans les signaux de marché que nous constatons : les données synthétiques devraient devenir un élément dominant des pipelines d'entraînement d'IA.
De plus, son impact économique est indéniable : entraîner des simulations sur des données synthétiques réduit le coût par image de manière significative si cet entraînement est réalisé à grande échelle.
Avec la plupart des pipelines de perception, le seuil de rentabilité où les données synthétiques deviennent plus rentables que les annotations manuelles arrive bien plus tôt que prévu par les équipes, souvent après seulement quelques dizaines de milliers d'images.
Comme la plupart des modèles robotiques nécessitent des millions d'images, cela signifie qu'utiliser des données synthétiques peut produire d'énormes économies.
Cela se reflète largement dans les signaux de marché que nous constatons : les données synthétiques devraient devenir un élément dominant des pipelines d'entraînement d'IA.
Courtesy of Duality AI
Duality AI utilise ces capacités de l'Unreal Engine pour Falcon, sa plateforme de jumeaux numériques. Elle génère des données synthétiques et des simulations de capteurs réalistes pour des entreprises qui les utilisent ensuite dans tout un éventail de secteurs et de cas d'utilisation.
Investir dans ces jumeaux numériques offre un retour sur investissement appréciable en termes d'entraînement rapide et de déploiement de modèles d'IA destinés à piloter des drones en toute sécurité, à naviguer de manière fiable en milieu sauvage et même à amarrer des satellites en orbite. Dans chacun de ces scénarios, les environnements de jumeaux numériques et les capteurs virtuels de Falcon offrent des données synthétiques très précises permettant de combler le fossé entre simulation et réalité.
"Cela ne serait pas possible sans l'Unreal Engine et ses capacités de rendu avancées, ses solveurs de physique, sa gestion de scène évolutive et sa communauté de développement à double usage bien établie", raconte Apurva Shah, PDG de Duality AI.
La randomisation des domaines est une technique utilisée pour mélanger intentionnellement des aspects d'un environnement simulé, afin que les modèles entraînés en simulation se généralisent mieux au monde réel.
Si le modèle observe suffisamment de variations dans la simulation, il ne se spécialisera pas excessivement à un environnement synthétique étroit et il fonctionnera mieux dans des conditions du monde réel complexes.
Ce besoin de modélisation environnementale réaliste est une priorité pour Forterra. Leur système de conduite autonome AutoDrive peut naviguer dans des environnements complexes hors et sur route, structurés ou non et ne disposant pas des repères prévisibles d'une rue urbaine. Des centres de distribution aux ports, en passant par des pôles d'échange et des sites industriels de ressources naturelles, les systèmes de Forterra doivent gérer en temps réel toute une variété de terrains, de surfaces changeantes et d'obstacles imprévisibles.
Grâce à la simulation réaliste et aux données synthétiques, Forterra peut exposer son autonomie à une variété quasi infinie de météos, d'éclairage et d'obstacles de terrain.
"Chez Forterra, lorsque nous développons des systèmes autonomes afin qu'ils fonctionnent de manière fiable dans des environnements complexes, la simulation réaliste est non négociable, précise le Dr Jeremy Joseph, directeur de la simulation et de la validation des systèmes chez Forterra.
Nous utilisons l'Unreal Engine pour tester notre véhicule, car il nous permet de le faire dans des environnements numériques réalistes, avec une simulation de capteurs physiquement précise et des profils de mission complets couvrant un nombre infini de variations météorologiques, de terrain et d'obstacles. C'est très important, car la sécurité des utilisateurs finaux est une valeur fondamentale de Forterra. Ces capacités nous permettent d'identifier et de résoudre des problèmes avant qu'ils n'apparaissent dans un véhicule réel."
Investir dans ces jumeaux numériques offre un retour sur investissement appréciable en termes d'entraînement rapide et de déploiement de modèles d'IA destinés à piloter des drones en toute sécurité, à naviguer de manière fiable en milieu sauvage et même à amarrer des satellites en orbite. Dans chacun de ces scénarios, les environnements de jumeaux numériques et les capteurs virtuels de Falcon offrent des données synthétiques très précises permettant de combler le fossé entre simulation et réalité.
"Cela ne serait pas possible sans l'Unreal Engine et ses capacités de rendu avancées, ses solveurs de physique, sa gestion de scène évolutive et sa communauté de développement à double usage bien établie", raconte Apurva Shah, PDG de Duality AI.
Randomisation des domaines : se préparer à l'inattendu
La randomisation des domaines est une technique utilisée pour mélanger intentionnellement des aspects d'un environnement simulé, afin que les modèles entraînés en simulation se généralisent mieux au monde réel.Si le modèle observe suffisamment de variations dans la simulation, il ne se spécialisera pas excessivement à un environnement synthétique étroit et il fonctionnera mieux dans des conditions du monde réel complexes.
Ce besoin de modélisation environnementale réaliste est une priorité pour Forterra. Leur système de conduite autonome AutoDrive peut naviguer dans des environnements complexes hors et sur route, structurés ou non et ne disposant pas des repères prévisibles d'une rue urbaine. Des centres de distribution aux ports, en passant par des pôles d'échange et des sites industriels de ressources naturelles, les systèmes de Forterra doivent gérer en temps réel toute une variété de terrains, de surfaces changeantes et d'obstacles imprévisibles.
Grâce à la simulation réaliste et aux données synthétiques, Forterra peut exposer son autonomie à une variété quasi infinie de météos, d'éclairage et d'obstacles de terrain.
"Chez Forterra, lorsque nous développons des systèmes autonomes afin qu'ils fonctionnent de manière fiable dans des environnements complexes, la simulation réaliste est non négociable, précise le Dr Jeremy Joseph, directeur de la simulation et de la validation des systèmes chez Forterra.
Nous utilisons l'Unreal Engine pour tester notre véhicule, car il nous permet de le faire dans des environnements numériques réalistes, avec une simulation de capteurs physiquement précise et des profils de mission complets couvrant un nombre infini de variations météorologiques, de terrain et d'obstacles. C'est très important, car la sécurité des utilisateurs finaux est une valeur fondamentale de Forterra. Ces capacités nous permettent d'identifier et de résoudre des problèmes avant qu'ils n'apparaissent dans un véhicule réel."
Courtesy of Forterra
L'Unreal Engine est particulièrement adapté à la randomisation de domaines grâce à son système de matériaux et éclairage dynamique programmables : il est possible de randomiser les textures, les matériaux, les conditions d'éclairage, la météo et l'atmosphère, le placement des objets et de la géométrie, la position de la caméra ainsi que les paramètres de l'objectif.
Les équipes travaillant dans la robotique peuvent également utiliser le framework de génération procédurale de contenu (PCG) du moteur afin de varier les environnements intérieurs des différentes sessions d'entraînement. Dans une scène d'entrepôt ou de bureau, il est possible de randomiser la disposition (comme l'emplacement d'une étagère ou d'une table), l'encombrement (comme les boîtes et les outils) et les facteurs visuels (comme les matériaux, l'éclairage et les occlusions).
Et si vous souhaitez concevoir des environnements de simulation ou les habiller avec des objets, le Marché Fab constitue une excellente source de contenu 3D de haute qualité, abordable et facile à intégrer. Vous y trouverez notamment les Quixel Megascans produits à l'aide de la photogrammétrie.
Le pipeline de rendu de l'Unreal Engine est particulièrement adapté à la simulation des capteurs utilisés par les robots dans le monde réel : les caméras RVB/HDR, les caméras de profondeur, le LiDAR Point Cloud, les données radar et SAR, l'imagerie thermique/FLIR, les modèles GPS et de centrale à inertie, ainsi que les sonars sous-marins (via HoloOcean). Il peut également modéliser les caractéristiques clés des capteurs, comme le bruit, la distorsion, la latence et la synchronisation afin de mieux correspondre au matériel réel.
La plateforme de jumeaux numériques Falcon de Duality AI en est un exemple. Sa bibliothèque configurable de capteurs prêts pour la simulation comprend des caméras, du LiDAR, des radars et des SAR, des GPS, des centrales à inertie et plus encore. L'Unreal Engine traite ensuite les données pour créer des environnements de simulation très précis.
"Nous avons intégré l'Unreal Engine au cœur de Falcon précisément parce que nous savions tout ce qu'il peut offrir aux roboticiens et aux ingénieurs en IA physique", précise Apurva Shah, PDG de Duality AI.
Les équipes travaillant dans la robotique peuvent également utiliser le framework de génération procédurale de contenu (PCG) du moteur afin de varier les environnements intérieurs des différentes sessions d'entraînement. Dans une scène d'entrepôt ou de bureau, il est possible de randomiser la disposition (comme l'emplacement d'une étagère ou d'une table), l'encombrement (comme les boîtes et les outils) et les facteurs visuels (comme les matériaux, l'éclairage et les occlusions).
Et si vous souhaitez concevoir des environnements de simulation ou les habiller avec des objets, le Marché Fab constitue une excellente source de contenu 3D de haute qualité, abordable et facile à intégrer. Vous y trouverez notamment les Quixel Megascans produits à l'aide de la photogrammétrie.
Les simulations de capteurs : construire une image réaliste du monde
La robotique moderne repose sur une perception multimodale, qui permet de comprendre un environnement à l'aide de plusieurs types de capteurs en même temps plutôt que de s'appuyer sur une seule source.Le pipeline de rendu de l'Unreal Engine est particulièrement adapté à la simulation des capteurs utilisés par les robots dans le monde réel : les caméras RVB/HDR, les caméras de profondeur, le LiDAR Point Cloud, les données radar et SAR, l'imagerie thermique/FLIR, les modèles GPS et de centrale à inertie, ainsi que les sonars sous-marins (via HoloOcean). Il peut également modéliser les caractéristiques clés des capteurs, comme le bruit, la distorsion, la latence et la synchronisation afin de mieux correspondre au matériel réel.
La plateforme de jumeaux numériques Falcon de Duality AI en est un exemple. Sa bibliothèque configurable de capteurs prêts pour la simulation comprend des caméras, du LiDAR, des radars et des SAR, des GPS, des centrales à inertie et plus encore. L'Unreal Engine traite ensuite les données pour créer des environnements de simulation très précis.
"Nous avons intégré l'Unreal Engine au cœur de Falcon précisément parce que nous savions tout ce qu'il peut offrir aux roboticiens et aux ingénieurs en IA physique", précise Apurva Shah, PDG de Duality AI.
Courtesy of Duality AI
Le simulateur de capteurs AURELION de dSPACE montre également comment l'Unreal Engine s'intègre dans les flux de travail établis des véhicules autonomes et de la robotique. Par exemple, le Korean Testing Laboratory (KTL) utilise AURELION afin de tester des robots de service autonomes dans un environnement d'hôpital virtuel, en incluant les couloirs, les ascenseurs et les chambres des patients. Les capteurs virtuels permettent aux développeurs d'évaluer la navigation, l'évitement des obstacles et les réponses du système avant son déploiement dans le monde réel.
"L'Unreal Engine est la voûte centrale d'AURELION, notre solution de simulation de capteurs basée sur la physique", explique Caius Seiger, chef de produit du département de la simulation de capteurs chez dSPACE.
"L'Unreal Engine est la voûte centrale d'AURELION, notre solution de simulation de capteurs basée sur la physique", explique Caius Seiger, chef de produit du département de la simulation de capteurs chez dSPACE.
Courtesy of dSPACE GmbH
Le moteur permet de créer des simulations de caméras avec des capteurs réalistes qui incluent une modélisation précise des objectifs et des capteurs d'image. "En ayant accès au code source, nous avons pu améliorer la plateforme en implémentant un ray-tracing en temps réel afin de générer des données de capteurs brutes et précises pour les radars, le LiDAR et les capteurs ultrasoniques", raconte Caius Seiger.
L'intégration efficace de modèles 3D et de matériaux de l'Unreal Engine prend en charge tout un éventail de cas d'utilisation, allant des drones de livraison urbains aux robots de service hospitalier.
Dans la même veine, les logiciels MATLAB et Simulink de MathWorks s'intègrent à l'Unreal Engine via Simulink 3D Animation. "Les ingénieurs peuvent utiliser l'Unreal Engine pour le rendu photoréaliste et la simulation de capteurs, pendant que les outils de MathWorks intègrent la perception, la planification, les contrôles et la modélisation basée sur la physique dans un environnement de simulation unifiée", explique Nishan Nekoo, chef de produit de Simulink 3D Animation.
Ce flux de travail aide les équipes à avancer dans le développement et la validation plus tôt dans le cycle de conception, en les aidant à déceler les problèmes à l'avance, avec plus de sécurité et davantage de confiance.
Certaines organisations de robotique conçoivent leurs propres intergiciels afin de répondre aux exigences des systèmes de production. Tempo Simulation a été conçu dans cette optique. Sa plateforme open source offre une interface gRPC/Protobuf permettant aux équipes travaillant dans la robotique de lier directement l'Unreal Engine à leurs solutions autonomes et à leurs intergiciels. En plus de son intégration TempoROS, Tempo propose des outils permettant de concevoir des environnements de simulation réalistes, des modèles de capteurs et des comportements d'agent complexes dans l'Unreal Engine.
L'intégration efficace de modèles 3D et de matériaux de l'Unreal Engine prend en charge tout un éventail de cas d'utilisation, allant des drones de livraison urbains aux robots de service hospitalier.
Dans la même veine, les logiciels MATLAB et Simulink de MathWorks s'intègrent à l'Unreal Engine via Simulink 3D Animation. "Les ingénieurs peuvent utiliser l'Unreal Engine pour le rendu photoréaliste et la simulation de capteurs, pendant que les outils de MathWorks intègrent la perception, la planification, les contrôles et la modélisation basée sur la physique dans un environnement de simulation unifiée", explique Nishan Nekoo, chef de produit de Simulink 3D Animation.
Ce flux de travail aide les équipes à avancer dans le développement et la validation plus tôt dans le cycle de conception, en les aidant à déceler les problèmes à l'avance, avec plus de sécurité et davantage de confiance.
L'intégration de ROS : relier un moteur de jeu à des robots
La compatibilité avec les intergiciels robotiques est parfois préoccupante pour les équipes robotiques qui envisagent d'utiliser des moteurs de jeu. Désormais, l'Unreal Engine s'intègre parfaitement avec ROS et ROS2 via plusieurs ponts matures, dont les plug-ins de capteurs ROSIntegration, rclUE et UE ROS2, mais également CARLA.Certaines organisations de robotique conçoivent leurs propres intergiciels afin de répondre aux exigences des systèmes de production. Tempo Simulation a été conçu dans cette optique. Sa plateforme open source offre une interface gRPC/Protobuf permettant aux équipes travaillant dans la robotique de lier directement l'Unreal Engine à leurs solutions autonomes et à leurs intergiciels. En plus de son intégration TempoROS, Tempo propose des outils permettant de concevoir des environnements de simulation réalistes, des modèles de capteurs et des comportements d'agent complexes dans l'Unreal Engine.
Courtesy of Aurum Systems and Tempo Simulation
"Chez Tempo, nous avons pu constater par nous-mêmes à quel point la simulation peut accélérer les choses, raconte Peter Melick, cofondateur et PDG de Tempo Simulation. Si les équipes peuvent générer des données, tester les comportements et itérer rapidement dans une simulation, les cycles de développement sont considérablement réduits. Notre objectif est de rendre des simulations Unreal Engine réalistes accessibles à n'importe quelle équipe travaillant dans la robotique."
C'est un exemple concret de la façon dont l'Unreal Engine peut fonctionner de manière fluide en tant que simulateur en temps réel pour les systèmes logiciels qui permettent aux robots d'être indépendants.
Au niveau de l'apprentissage par renforcement (lorsqu'un agent apprend en interagissant avec un environnement et en recevant des récompenses ou des pénalités en fonction de ses actions), le réalisme et la réactivité de l'environnement de simulation déterminent directement si les comportements appris seront transférés efficacement dans le monde réel.
Des frameworks tels que les successeurs de Gym-UnrealCV et AirSim intègrent l'Unreal Engine à des pipelines d'apprentissage par renforcement destinés à la navigation de drones, au suivi d'objets et au contrôle robotique.
Le système de physique Chaos gère la dynamique des corps rigides et des véhicules, les articulations ainsi que les collisions. Des architectures hybrides qui associent l'outil de rendu du moteur à MuJoCo ou Bullet pour la modélisation de contacts deviennent de plus en plus recommandés pour les dynamiques de qualité robotique.
Au niveau de l'évolutivité, les conteneurs Linux, la prise en charge de Docker et le rendu sans interface accéléré par le GPU permettent de générer des données synthétiques à l'échelle du cloud et des pipelines de test d'autonomie.
CARLA est le simulateur de conduite autonome open source le plus utilisé. Il fonctionne désormais avec l'UE 5.5 et intègre le LiDAR, les radars, plusieurs types de caméras, le GPS, la segmentation sémantique et une connectivité ROS2 native.
Conçu avec l'UE5, HoloOcean propose une simulation sous-marine multiagent avec une centrale à inertie, un vélocimètre Doppler, des modems optiques/acoustiques et un modèle de capteur sonar basé sur un arbre octal ; capacité rarement trouvée dans les simulateurs sous-marins. Les systèmes Lumen et Nanite de l'UE5 améliorent considérablement le réalisme des visuels sous-marins du simulateur.
Quant la plateforme de simulation de jumeaux numériques Falcon de Duality AI, conçue directement avec l'Unreal Engine, elle a reçu toute une gamme de prix, celui des Idées qui changent le monde de Fast Company, celui du Meilleur produit en IA et données des Product Awards, mais elle a également été récompensée dans la catégorie Moteurs de données et simulation des Robotics and Physical AI Awards. Parmi les utilisateurs de Falcon, nous pouvons citer NASA-JPL, Honeywell, DARPA et Procter & Gamble.
PteroSim par PteroLabs est un simulateur de vol UAV, conçu avec l'UE5 avec l'aérodynamique 6-DOF de JSBSim. Il prend en charge les appareils à aile fixe, les multirotors, les ADAV et les hélicoptères avec plus de 100 drones simultanément. Il utilise un micrologiciel d'autopilote réel dans sa boucle (PX4 ArduPilot) via le même protocole MAVLink et le même logiciel de station au sol utilisés par les drones physiques, offrant ainsi une validation fluide de la simulation à la réalité.
La plateforme inclut une modélisation des perturbations atmosphériques (turbulences de Dryden, rafales et microrafales), mais également une API Python gRPC pour les scénarios de test automatisés. De plus, elle fonctionne bien plus rapidement qu'en temps réel pour les flux de travail d'apprentissage automatique et d'apprentissage par renforcement. PteroSim est utilisé par les équipes du DARPA Lift Challenge pour la validation des aéronefs autonomes avant leur vol.
"Nous avons choisi l'Unreal Engine en raison de sa qualité visuelle inégalée, explique Alexander Kalmykov, fondateur de PteroLabs. Et grâce au C++, nous pouvons lancer de véritables dynamiques de vol sans compromis. Le moteur peut s'adapter à n'importe quelle configuration matérielle et la communauté de l'UE dispose de réponses à toutes nos questions."
C'est un exemple concret de la façon dont l'Unreal Engine peut fonctionner de manière fluide en tant que simulateur en temps réel pour les systèmes logiciels qui permettent aux robots d'être indépendants.
La prise en charge d'une boucle de simulation complète
Le principal avantage de l'Unreal Engine dans le domaine de la robotique repose dans ses données synthétiques et de perception, mais le moteur prend également en charge une boucle de simulation complète.Au niveau de l'apprentissage par renforcement (lorsqu'un agent apprend en interagissant avec un environnement et en recevant des récompenses ou des pénalités en fonction de ses actions), le réalisme et la réactivité de l'environnement de simulation déterminent directement si les comportements appris seront transférés efficacement dans le monde réel.
Des frameworks tels que les successeurs de Gym-UnrealCV et AirSim intègrent l'Unreal Engine à des pipelines d'apprentissage par renforcement destinés à la navigation de drones, au suivi d'objets et au contrôle robotique.
Le système de physique Chaos gère la dynamique des corps rigides et des véhicules, les articulations ainsi que les collisions. Des architectures hybrides qui associent l'outil de rendu du moteur à MuJoCo ou Bullet pour la modélisation de contacts deviennent de plus en plus recommandés pour les dynamiques de qualité robotique.
Au niveau de l'évolutivité, les conteneurs Linux, la prise en charge de Docker et le rendu sans interface accéléré par le GPU permettent de générer des données synthétiques à l'échelle du cloud et des pipelines de test d'autonomie.
Au service des principales plateformes de simulation robotique
L'Unreal Engine n'est pas qu'un simple outil de rendu. Il constitue la base de plusieurs grandes plateformes de simulation robotique.CARLA est le simulateur de conduite autonome open source le plus utilisé. Il fonctionne désormais avec l'UE 5.5 et intègre le LiDAR, les radars, plusieurs types de caméras, le GPS, la segmentation sémantique et une connectivité ROS2 native.
Conçu avec l'UE5, HoloOcean propose une simulation sous-marine multiagent avec une centrale à inertie, un vélocimètre Doppler, des modems optiques/acoustiques et un modèle de capteur sonar basé sur un arbre octal ; capacité rarement trouvée dans les simulateurs sous-marins. Les systèmes Lumen et Nanite de l'UE5 améliorent considérablement le réalisme des visuels sous-marins du simulateur.
Quant la plateforme de simulation de jumeaux numériques Falcon de Duality AI, conçue directement avec l'Unreal Engine, elle a reçu toute une gamme de prix, celui des Idées qui changent le monde de Fast Company, celui du Meilleur produit en IA et données des Product Awards, mais elle a également été récompensée dans la catégorie Moteurs de données et simulation des Robotics and Physical AI Awards. Parmi les utilisateurs de Falcon, nous pouvons citer NASA-JPL, Honeywell, DARPA et Procter & Gamble.
PteroSim par PteroLabs est un simulateur de vol UAV, conçu avec l'UE5 avec l'aérodynamique 6-DOF de JSBSim. Il prend en charge les appareils à aile fixe, les multirotors, les ADAV et les hélicoptères avec plus de 100 drones simultanément. Il utilise un micrologiciel d'autopilote réel dans sa boucle (PX4 ArduPilot) via le même protocole MAVLink et le même logiciel de station au sol utilisés par les drones physiques, offrant ainsi une validation fluide de la simulation à la réalité.
La plateforme inclut une modélisation des perturbations atmosphériques (turbulences de Dryden, rafales et microrafales), mais également une API Python gRPC pour les scénarios de test automatisés. De plus, elle fonctionne bien plus rapidement qu'en temps réel pour les flux de travail d'apprentissage automatique et d'apprentissage par renforcement. PteroSim est utilisé par les équipes du DARPA Lift Challenge pour la validation des aéronefs autonomes avant leur vol.
"Nous avons choisi l'Unreal Engine en raison de sa qualité visuelle inégalée, explique Alexander Kalmykov, fondateur de PteroLabs. Et grâce au C++, nous pouvons lancer de véritables dynamiques de vol sans compromis. Le moteur peut s'adapter à n'importe quelle configuration matérielle et la communauté de l'UE dispose de réponses à toutes nos questions."
Courtesy of SAS Institute
Industrie 4.0
L'industrie 4.0 associe robotique, automatisation et technologies numériques. Elle repose sur la simulation en temps réel et des jumeaux numériques pour tester virtuellement les changements de production. Cette manière d'organiser les moyens de production réduit les coûts et les risques en validant les décisions d'automatisation avant leur implémentation.SAS est l'un des leaders du secteur de l'industrie 4.0. L'entreprise associe les visualisations réalistes de l'Unreal Engine avec sa plateforme d'IA et d'analyse de données Viya afin de concevoir des jumeaux numériques pour l'automatisation d'usines de manière intelligente. Un test réalisé avec Georgia-Pacific utilise un jumeau numérique SAS conçu avec l'Unreal Engine afin de visualiser et d'optimiser les mouvements des AGV, le contrôle de qualité et la planification de la maintenance dans une usine en activité.
Les usines modernes sont des environnements qui deviennent de plus en plus complexes, où humains et robots doivent coexister. C'est pourquoi la sécurité et l'efficacité sont essentielles.
"Notre stratégie associe une simulation photoréaliste à de l'IA et des analyses de données avancées afin d'aider les leaders du marché à concevoir des jumeaux numériques plus riches et à tester des décisions avant de s'engager dans des investissements majeurs, raconte Glynn Newby, responsable marketing de la fabrication chez SAS. Les données synthétiques transitionnent de manière fluide entre l'Unreal Engine et SAS. Nous pensons que cette approche peut potentiellement améliorer la productivité, la sécurité et l'efficacité opérationnelle dans des usines du monde entier, et ce de manière significative."
L'évolution d'une plateforme de robotique
L'Unreal Engine n'a pas été conçu en tant que plateforme de robotique. Mais le moteur en est devenu une suite à l'essor des données synthétiques, aux avancées dans le transfert de la simulation vers la réalité et à la demande pour des simulations de capteurs photoréalistes.Étant un moteur en temps réel conçu autour de l'interactivité, l'UE5 prend en charge la simulation humain dans la boucle, l'entraînement des opérateurs, les interfaces de téléopération, les expériences en XR et les jumeaux numériques, le tout dans le même temps d'exécution utilisé pour le développement IA.
Les équipes peuvent prototyper l'autonomie des machines, concevoir des outils de visualisation interactifs et expérimenter avec les flux de travail d'interaction homme-machine sans avoir à passer d'une plateforme à une autre.
Pour les équipes travaillant dans la robotique et dont les modèles doivent pouvoir voir le monde réel avec précision (par exemple en détectant les objets sur le sol d'une usine, en se déplaçant sur une intersection d'une ville ou en identifiant l'anatomie lors d'une opération chirurgicale), l'Unreal Engine est devenu la plateforme la plus intéressante pour l'entraînement en simulation et le déploiement dans la réalité.