Spotlight
8. April 2026
UE5 wird zur bevorzugten Plattform für Robotiksimulationen
Die Simulationsbranche erlebt eine revolutionäre Wende: Statt Werkzeuge zu entwickeln, die Menschen trainieren, entwickelt sie nun Werkzeuge, die Maschinen trainieren.
Dies erfordert KI-Systeme, die direkt in der realen Welt arbeiten, sie wahrnehmen und mit ihr interagieren. Hier kommt physikalische KI ins Spiel.
Durch die Kombination von KI-Modellen mit Sensoren, Kameras und Aktoren verstehen, denken und handeln Systeme wie Roboter, autonome Fahrzeuge und Drohnen in Echtzeit und können sich an unvorhersehbare Umgebungen anpassen.
Unreal Engine wird immer mehr zur bevorzugten Plattform für Robotikteams – nicht nur als Simulator, sondern auch als synthetische Datenfactory und autonome Echtzeit-Plattform für die nächste Generation von Robotiksystemen.
Um einen Roboter darauf zu trainieren, in der realen Welt zu funktionieren, sind enorme Datenmengen erforderlich: annotierte Bilder für die Wahrnehmung, physikalische Interaktionen für Steuerungsrichtlinien und Grenzfallszenarien zur Sicherheitsvalidierung.
Das Sammeln dieser Daten in der physischen Welt ist langsam, teuer, bisweilen gefährlich und grundlegend begrenzt: Man kann nicht tausend Autounfälle inszenieren, einen Hurrikan in einem Lagerhaus simulieren oder bei Bedarf eine Komplikation bei einem chirurgischen Eingriff wiederholen.
Deshalb sind Simulationen das Rückgrat bei der Entwicklung moderner physikalischer KI. Da der Einsatz von Simulationen unvermeidlich ist, lautet die eigentliche Frage: "Welche Plattform liefert hinsichtlich der Wahrnehmung die beste Performance zu den niedrigsten Kosten und mit der schnellsten Iterationsgeschwindigkeit?"
Für Robotikteams lautet die Antwort in zunehmendem Maße: Unreal Engine. Der Grund dafür ist, dass in der Robotiksimulation Fotorealismus mehr als nur ein nettes Extra ist: Er ist eine technische Grundvoraussetzung.
Die mächtigen grafischen Fähigkeiten der Engine machen sie zur besten Wahl, um die Lücke zwischen Simulation und Realität zu schließen, d. h. den Unterschied zwischen dem, was ein Modell in der Simulation sieht, und dem, was es auf einem realen Roboter erlebt.
Die Logik dabei ist simpel: Je mehr synthetische Bilder wie echte Fotos aussehen, desto weniger zusätzliche Arbeit benötigt ein Modell, um von der Simulation auf die Realität generalisieren zu können.
Unreal Engine 5 hat drei Technologien eingeführt, die die Spielregeln in dieser Hinsicht grundlegend verändert haben – nicht nur im Bezug auf Fotorealismus, sondern auch auf Echtzeit.
Mit Nanite virtualisierte Mikropolygon-Geometrie rendert extrem hochauflösende Assets in Echtzeit, die sich ideal für CAD-Importe, Fotogrammetrie-Scans und komplexe Industrieumgebungen eignen.
Die dynamische globale Beleuchtung mithilfe von Lumen berechnet buchstäblich unendlich viele Lichtreflexionen und indirekte Reflexionen in Echtzeit, was eine physikalisch akkurate Beleuchtung ermöglicht, die auf Veränderungen der direkten Beleuchtung (z. .B. dem Einschalten eines Lichts) oder der Geometrie (z. .B. dem Öffnen einer Tür) reagiert.
Und Hardware-Raytracing, einschließlich dem durch RTX beschleunigten Zweig von NVIDIA, liefert physikalisch präzise Reflexionen, Schatten und Materialreaktionen.
General Robotics nutzt Unreal Engine, um realistische virtuelle Umgebungen für das Testen und Demonstrieren autonomer Robotiksysteme zu erschaffen und so skalierbare Simulationen und visuelle Validierungen auf Robotik-Plattformen zu ermöglichen.
"Der Fotorealismus und die Kontrolle über die Welt, die Unreal Engine bietet, ermöglichen die Vorhersage des Verhaltens in der realen Welt über verschiedene Szenarien hinweg – und die agentische Autonomie macht das Ganze skalierbar", erläutert Sai Vemprala, Mitbegründer und CTO von General Robotics.
Dies erfordert KI-Systeme, die direkt in der realen Welt arbeiten, sie wahrnehmen und mit ihr interagieren. Hier kommt physikalische KI ins Spiel.
Durch die Kombination von KI-Modellen mit Sensoren, Kameras und Aktoren verstehen, denken und handeln Systeme wie Roboter, autonome Fahrzeuge und Drohnen in Echtzeit und können sich an unvorhersehbare Umgebungen anpassen.
Unreal Engine wird immer mehr zur bevorzugten Plattform für Robotikteams – nicht nur als Simulator, sondern auch als synthetische Datenfactory und autonome Echtzeit-Plattform für die nächste Generation von Robotiksystemen.
Fotorealismus als technische Voraussetzung
Um einen Roboter darauf zu trainieren, in der realen Welt zu funktionieren, sind enorme Datenmengen erforderlich: annotierte Bilder für die Wahrnehmung, physikalische Interaktionen für Steuerungsrichtlinien und Grenzfallszenarien zur Sicherheitsvalidierung.Das Sammeln dieser Daten in der physischen Welt ist langsam, teuer, bisweilen gefährlich und grundlegend begrenzt: Man kann nicht tausend Autounfälle inszenieren, einen Hurrikan in einem Lagerhaus simulieren oder bei Bedarf eine Komplikation bei einem chirurgischen Eingriff wiederholen.
Deshalb sind Simulationen das Rückgrat bei der Entwicklung moderner physikalischer KI. Da der Einsatz von Simulationen unvermeidlich ist, lautet die eigentliche Frage: "Welche Plattform liefert hinsichtlich der Wahrnehmung die beste Performance zu den niedrigsten Kosten und mit der schnellsten Iterationsgeschwindigkeit?"
Für Robotikteams lautet die Antwort in zunehmendem Maße: Unreal Engine. Der Grund dafür ist, dass in der Robotiksimulation Fotorealismus mehr als nur ein nettes Extra ist: Er ist eine technische Grundvoraussetzung.
Die mächtigen grafischen Fähigkeiten der Engine machen sie zur besten Wahl, um die Lücke zwischen Simulation und Realität zu schließen, d. h. den Unterschied zwischen dem, was ein Modell in der Simulation sieht, und dem, was es auf einem realen Roboter erlebt.
Die Logik dabei ist simpel: Je mehr synthetische Bilder wie echte Fotos aussehen, desto weniger zusätzliche Arbeit benötigt ein Modell, um von der Simulation auf die Realität generalisieren zu können.
Unreal Engine 5 hat drei Technologien eingeführt, die die Spielregeln in dieser Hinsicht grundlegend verändert haben – nicht nur im Bezug auf Fotorealismus, sondern auch auf Echtzeit.
Mit Nanite virtualisierte Mikropolygon-Geometrie rendert extrem hochauflösende Assets in Echtzeit, die sich ideal für CAD-Importe, Fotogrammetrie-Scans und komplexe Industrieumgebungen eignen.
Die dynamische globale Beleuchtung mithilfe von Lumen berechnet buchstäblich unendlich viele Lichtreflexionen und indirekte Reflexionen in Echtzeit, was eine physikalisch akkurate Beleuchtung ermöglicht, die auf Veränderungen der direkten Beleuchtung (z. .B. dem Einschalten eines Lichts) oder der Geometrie (z. .B. dem Öffnen einer Tür) reagiert.
Und Hardware-Raytracing, einschließlich dem durch RTX beschleunigten Zweig von NVIDIA, liefert physikalisch präzise Reflexionen, Schatten und Materialreaktionen.
General Robotics nutzt Unreal Engine, um realistische virtuelle Umgebungen für das Testen und Demonstrieren autonomer Robotiksysteme zu erschaffen und so skalierbare Simulationen und visuelle Validierungen auf Robotik-Plattformen zu ermöglichen.
"Der Fotorealismus und die Kontrolle über die Welt, die Unreal Engine bietet, ermöglichen die Vorhersage des Verhaltens in der realen Welt über verschiedene Szenarien hinweg – und die agentische Autonomie macht das Ganze skalierbar", erläutert Sai Vemprala, Mitbegründer und CTO von General Robotics.
Courtesy of General Robotics
Die Engine bildet die Grundlage für die Bewertung agentischer Roboter: Ein Agent orchestriert und führt Bewertungen von Verhaltensweisen der Roboter-KI in verschiedenen Umgebungen und unter unterschiedlichen Bedingungen durch, findet Grenzfälle und bewertet die Leistung vor der Bereitstellung.
Und nicht nur das: Da Unreal Engine auf macOS läuft, können Robotikingenieure ihre Simulatoren nativ auf ihren Laptops ausführen, anstatt sich über SSH in Linux einloggen zu müssen. Dies bringt Vorteile wie geringere Latenz, bessere Grafikperformance und einen vereinfachten Workflow mit sich.
Bei vielen Manipulations- und Fortbewegungsaufgaben führen Ungenauigkeiten hinsichtlich der Kontaktdynamik oder des Aktorverhaltens schon lange vor visuellen Unterschieden zu Problemen.
In diesem Zusammenhang ist das Chaos-Physik-System von Unreal Engine mit doppelter Präzision ein leistungsstarkes Werkzeug für skalierbares Training, Wahrnehmungssimulationen und Echtzeitinteraktionen in fotorealistischen Umgebungen.
Ingenieure haben darüber hinaus die Möglichkeit, das genaue physikalische Verhalten von Systemen mit Werkzeugen von Drittparteien wie AGX Dynamics für Unreal Engine, einem von Algoryx entwickelten, wiedergabegetreuen Echtzeit-Physiksimulationssystem, zu modellieren.
Und nicht nur das: Da Unreal Engine auf macOS läuft, können Robotikingenieure ihre Simulatoren nativ auf ihren Laptops ausführen, anstatt sich über SSH in Linux einloggen zu müssen. Dies bringt Vorteile wie geringere Latenz, bessere Grafikperformance und einen vereinfachten Workflow mit sich.
Physiksimulation
Fotorealismus allein kann die Lücke zwischen Simulation und Realität nicht schließen. Physikalische Wiedergabetreue (genauer Kontakt, Reibung, Verformbarkeit, Aktordynamik), Sensorrealismus (Rolling Shutter, LiDAR-Intensität, IMU-Drift, Latenz) und korrekte Steuerungsschleifenmodellierung sind ebenso entscheidend.Bei vielen Manipulations- und Fortbewegungsaufgaben führen Ungenauigkeiten hinsichtlich der Kontaktdynamik oder des Aktorverhaltens schon lange vor visuellen Unterschieden zu Problemen.
In diesem Zusammenhang ist das Chaos-Physik-System von Unreal Engine mit doppelter Präzision ein leistungsstarkes Werkzeug für skalierbares Training, Wahrnehmungssimulationen und Echtzeitinteraktionen in fotorealistischen Umgebungen.
Ingenieure haben darüber hinaus die Möglichkeit, das genaue physikalische Verhalten von Systemen mit Werkzeugen von Drittparteien wie AGX Dynamics für Unreal Engine, einem von Algoryx entwickelten, wiedergabegetreuen Echtzeit-Physiksimulationssystem, zu modellieren.
Courtesy of Algoryx Simulation
AGX ermöglicht eine physikalisch präzise Simulation kompletter Maschinen, einschließlich Mehrkörpermechanik, Hydrauliksystemen, Antriebssträngen, Motoren, Ketten oder Rädern in einem dynamisch verformbaren Gelände.
"Autonome Maschinen müssen Physik in ihre Überlegungen miteinbeziehen", erklärt Kenneth Bodin, CEO und Mitbegründer von Algoryx. "Wenn die Simulation nicht erfasst, wie die Maschine tatsächlich mit der Welt interagiert, lernt die KI die falschen Verhaltensweisen. Indem wir ingenieurtechnische Physiksimulationen von AGX mit den fotorealistischen Umgebungen von Unreal Engine kombinieren, können wir digitale Welten erschaffen, in denen autonome Maschinen im großen Maßstab trainiert, getestet und validiert werden können."
Für Ingenieure ist diese Pipeline skalierbar und automatisiert. RealityScan exportiert kritische Registrierungs- und Posendaten und unterstützt gleichzeitig Standard-Computer-Vision (CV)-Formate (z. B. Colmap). Die hochmoderne (State Of The Art, SOTA) Bildausrichtung bildet die Grundlage für die Erstellung Gaußscher Splats – hochauflösender, fotorealistischer Assets, die mit relativ geringem Aufwand erstellt werden können.
RealityScan kann auf Linux-Servern ausgeführt und mit dem Remote Command-Plugin oder CLI-Skripten gesteuert werden, wodurch automatisierte Fotogrammetrie-Pipelines entstehen, die Scans kontinuierlich über mehrere Rechner hinweg verarbeiten und die Ergebnisse direkt an Unreal Engine senden können.
Anstatt also von Menschen zu verlangen, Bilder nach der Aufnahme zu labeln, kann die Engine zeitgleich mit dem Rendern des Bildes automatisch äußerst präzise Labels ausgeben.
"Autonome Maschinen müssen Physik in ihre Überlegungen miteinbeziehen", erklärt Kenneth Bodin, CEO und Mitbegründer von Algoryx. "Wenn die Simulation nicht erfasst, wie die Maschine tatsächlich mit der Welt interagiert, lernt die KI die falschen Verhaltensweisen. Indem wir ingenieurtechnische Physiksimulationen von AGX mit den fotorealistischen Umgebungen von Unreal Engine kombinieren, können wir digitale Welten erschaffen, in denen autonome Maschinen im großen Maßstab trainiert, getestet und validiert werden können."
Zusammenführen und Rekonstruieren verschiedener Datenquellen mit RealityScan
Durch die Kombination modernster Fotogrammetrie- und Echtzeittechnologie können Robotikteams eine mächtige Pipeline erstellen, um realistische virtuelle Umgebungen zu erschaffen. Ein Beispiel dafür ist der exzellent etablierte Workflow zwischen RealityScan und Unreal Engine, der reale Orte und Objekte schnell in digitale Zwillinge für die Robotiksimulation umwandeln kann. RealityScan unterstützt mittlerweile SLAM-Punktwolken sowie traditionelle Fotogrammetrie und LiDAR, was das Nadelöhr der Erstellung der Umwelt beseitigt hat und die schnelle Generierung synthetischer Trainings- und Regressionsumgebungen ermöglicht, die mit den Implementierungsdomänen exzellent übereinstimmen. Diese Fortschritte sind entscheidend, um die Lücke zwischen Simulation und Realität, insbesondere im Rahmen der kamerazentrierten Wahrnehmung (Camera-First Perception), zu verringern, .Für Ingenieure ist diese Pipeline skalierbar und automatisiert. RealityScan exportiert kritische Registrierungs- und Posendaten und unterstützt gleichzeitig Standard-Computer-Vision (CV)-Formate (z. B. Colmap). Die hochmoderne (State Of The Art, SOTA) Bildausrichtung bildet die Grundlage für die Erstellung Gaußscher Splats – hochauflösender, fotorealistischer Assets, die mit relativ geringem Aufwand erstellt werden können.
RealityScan kann auf Linux-Servern ausgeführt und mit dem Remote Command-Plugin oder CLI-Skripten gesteuert werden, wodurch automatisierte Fotogrammetrie-Pipelines entstehen, die Scans kontinuierlich über mehrere Rechner hinweg verarbeiten und die Ergebnisse direkt an Unreal Engine senden können.
Synthetische Daten für schnelles und kosteneffizientes Training
Da Unreal Engine jeden Pixel mathematisch generiert, weiß die Engine bereits alles über die jeweilige Szene, d. h. wo sich jedes einzelne Objekt befindet, wie weit es entfernt ist, aus welchem Material es besteht und wie es sich bewegt.Anstatt also von Menschen zu verlangen, Bilder nach der Aufnahme zu labeln, kann die Engine zeitgleich mit dem Rendern des Bildes automatisch äußerst präzise Labels ausgeben.
Das hat eine Reihe von Vorteilen: keine Meinungsverschiedenheiten zwischen Annotatoren, keine inkonsistenten Labels in einem Datensatz (zum Beispiel ein als Lastkraftwagen gelabelter Gabelstapler) und keine kostspieligen Schleifen bei der Qualitätskontrolle.
Darüber hinaus sind die wirtschaftlichen Effekte nicht zu leugnen: Trainingssimulationen auf Basis von synthetischen Daten senken die Kosten pro Bild erheblich, wenn sie im großen Maßstab durchgeführt werden.
Für die meisten Wahrnehmungspipelines kommt der Punkt, an dem synthetische Daten kostengünstiger werden als die manuelle Annotation, deutlich früher als erwartet – oft nach nur einigen Zehntausend Bildern.
Da die meisten Robotikmodelle Millionen von Bildern benötigen, bedeutet das, dass die Verwendung synthetischer Daten zu enormen Kosteneinsparungen führen kann.
Dies zeigt sich in den Reaktionen des Marktes, die wir wahrnehmen: Synthetische Daten dürften zum dominierenden Bestandteil von KI-Trainingspipelines werden.
Darüber hinaus sind die wirtschaftlichen Effekte nicht zu leugnen: Trainingssimulationen auf Basis von synthetischen Daten senken die Kosten pro Bild erheblich, wenn sie im großen Maßstab durchgeführt werden.
Für die meisten Wahrnehmungspipelines kommt der Punkt, an dem synthetische Daten kostengünstiger werden als die manuelle Annotation, deutlich früher als erwartet – oft nach nur einigen Zehntausend Bildern.
Da die meisten Robotikmodelle Millionen von Bildern benötigen, bedeutet das, dass die Verwendung synthetischer Daten zu enormen Kosteneinsparungen führen kann.
Dies zeigt sich in den Reaktionen des Marktes, die wir wahrnehmen: Synthetische Daten dürften zum dominierenden Bestandteil von KI-Trainingspipelines werden.
Courtesy of Duality AI
Duality AI nutzt diese Funktionen von Unreal Engine für seine Digitaler-Zwilling-Plattform Falcon, um wiedergabegetreue synthetische Daten- und Sensorsimulationen für Unternehmenskunden zu generieren, die sie für verschiedenste Branchen und Anwendungsfällen nutzen.
Die Investition in diese digitalen Zwillinge führt zu messbarem ROI in Form von raschem Training und der Bereitstellung von KI-Modellen, die es ermöglichen, Drohnen sicher zu fliegen, zuverlässig in der Wildnis zu navigieren und sogar Satelliten in der Umlaufbahn anzudocken. In jedem dieser Szenarien liefern die digitalen Zwillingsumgebungen von Falcon und virtuelle Sensoren hochpräzise synthetische Daten, die nachweislich die Lücke zwischen Simulation und Realität schließen können.
"Das wäre ohne die fortschrittlichen Rendering-Fähigkeiten, die Physik-Solver, die skalierbare Szenenverwaltung und die gut etablierte Dual-Use-Entwicklungs-Community von Unreal Engine nicht möglich", sagt Apurva Shah, CEO von Duality AI.
Domänenrandomisierung ist eine Technik, die verwendet wird, um Aspekte einer simulierten Umgebung absichtlich durcheinanderzubringen, sodass in der Simulation trainierte Modelle besser auf die reale Welt generalisieren können.
Wenn das Modell in der Simulation genügend Variationen zu sehen bekommt, passt es sich nicht übertrieben an eine zu enge synthetische Umgebung an – und funktioniert später unter chaotischen realen Bedingungen besser.
Diese Notwendigkeit einer hochpräzisen Modellierung der Umwelt steht für Forterra an erster Stelle. Ihr autonomes Fahrsystem AutoDrive navigiert durch komplexe strukturierte und unstrukturierte Offroad- und Onroad-Umgebungen, in denen die vorhersehbaren Markierungen asphaltierter Stadtstraßen fehlen. Von Verteilzentren und Häfen bis hin zu intermodalen und Rohstoffindustriestandorten müssen die Systeme von Forterra in Echtzeit mit unterschiedlichsten Geländearten, wechselnden Oberflächen und unvorhersehbaren Hindernissen zurechtkommen.
Durch den Einsatz wiedergabegetreuer Simulationen und synthetischer Daten kann Forterra seinen Autonomiestack einer nahezu unendlichen Vielfalt an Wetter-, Beleuchtungs- und Geländehindernissen aussetzen.
"Bei Forterra sind wiedergabegetreue Simulationen beim Entwickeln autonomer Systeme, die zuverlässig in komplexen Umgebungen funktionieren, unverzichtbar", erklärt Dr. Jeremy Joseph, Director of Simulation & Systems Validation bei Forterra.
"Wir nutzen Unreal Engine, um unser Fahrzeug zu testen, weil wir dadurch die Möglichkeit haben, in präzisen digitalen Umgebungen mit physikalisch genauen Sensorsimulationen und vollständigen Missionsprofilen über eine unendliche Anzahl von Wetter-, Gelände- und Hindernisvariationen hinweg zu testen. Das ist entscheidend, denn die Sicherheit der Endverbraucher zählt zu den wichtigsten Grundwerten von Forterra, und diese Funktionalitäten ermöglichen es uns, Probleme zu erkennen und zu lösen, bevor sie in einem echten Fahrzeug auftreten können."
Die Investition in diese digitalen Zwillinge führt zu messbarem ROI in Form von raschem Training und der Bereitstellung von KI-Modellen, die es ermöglichen, Drohnen sicher zu fliegen, zuverlässig in der Wildnis zu navigieren und sogar Satelliten in der Umlaufbahn anzudocken. In jedem dieser Szenarien liefern die digitalen Zwillingsumgebungen von Falcon und virtuelle Sensoren hochpräzise synthetische Daten, die nachweislich die Lücke zwischen Simulation und Realität schließen können.
"Das wäre ohne die fortschrittlichen Rendering-Fähigkeiten, die Physik-Solver, die skalierbare Szenenverwaltung und die gut etablierte Dual-Use-Entwicklungs-Community von Unreal Engine nicht möglich", sagt Apurva Shah, CEO von Duality AI.
Domänenrandomisierung: Vorbereitung auf das Unerwartete
Domänenrandomisierung ist eine Technik, die verwendet wird, um Aspekte einer simulierten Umgebung absichtlich durcheinanderzubringen, sodass in der Simulation trainierte Modelle besser auf die reale Welt generalisieren können.Wenn das Modell in der Simulation genügend Variationen zu sehen bekommt, passt es sich nicht übertrieben an eine zu enge synthetische Umgebung an – und funktioniert später unter chaotischen realen Bedingungen besser.
Diese Notwendigkeit einer hochpräzisen Modellierung der Umwelt steht für Forterra an erster Stelle. Ihr autonomes Fahrsystem AutoDrive navigiert durch komplexe strukturierte und unstrukturierte Offroad- und Onroad-Umgebungen, in denen die vorhersehbaren Markierungen asphaltierter Stadtstraßen fehlen. Von Verteilzentren und Häfen bis hin zu intermodalen und Rohstoffindustriestandorten müssen die Systeme von Forterra in Echtzeit mit unterschiedlichsten Geländearten, wechselnden Oberflächen und unvorhersehbaren Hindernissen zurechtkommen.
Durch den Einsatz wiedergabegetreuer Simulationen und synthetischer Daten kann Forterra seinen Autonomiestack einer nahezu unendlichen Vielfalt an Wetter-, Beleuchtungs- und Geländehindernissen aussetzen.
"Bei Forterra sind wiedergabegetreue Simulationen beim Entwickeln autonomer Systeme, die zuverlässig in komplexen Umgebungen funktionieren, unverzichtbar", erklärt Dr. Jeremy Joseph, Director of Simulation & Systems Validation bei Forterra.
"Wir nutzen Unreal Engine, um unser Fahrzeug zu testen, weil wir dadurch die Möglichkeit haben, in präzisen digitalen Umgebungen mit physikalisch genauen Sensorsimulationen und vollständigen Missionsprofilen über eine unendliche Anzahl von Wetter-, Gelände- und Hindernisvariationen hinweg zu testen. Das ist entscheidend, denn die Sicherheit der Endverbraucher zählt zu den wichtigsten Grundwerten von Forterra, und diese Funktionalitäten ermöglichen es uns, Probleme zu erkennen und zu lösen, bevor sie in einem echten Fahrzeug auftreten können."
Courtesy of Forterra
Unreal Engine eignet sich aufgrund des programmierbaren Materialsystems und der dynamischen Beleuchtung besonders gut für die Domänenrandomisierung – es ist möglich, Texturen und Materialien, Beleuchtungsverhältnisse, Wetter und Atmosphäre, die Platzierung von Objekten und Geometrie sowie die Kameraposition und Linsenparameter zu randomisieren.
Robotikteams können außerdem das Framework zur prozeduralen Inhaltserstellung (PCG) der Engine nutzen, um Innenraum-Umgebungen über Trainingsepisoden hinweg zu variieren. In einer Lagerhaus- oder Büroszene könnte man Layouts (zum Beispiel die Platzierung von Regalen oder Tischen), Objekte wie Kisten oder Werkzeuge sowie visuelle Faktoren wie Materialien, Beleuchtung und Okklusionen randomisieren.
Und für das Erstellen von Simulationsumgebungen oder das Auffüllen von Szenen mit Objekten ist der Fab-Marketplace eine großartige Quelle für hochwertige, erschwingliche und leicht zu integrierende 3D-Inhalte – einschließlich hochpräziser, mithilfe von Fotogrammetrie erstellter Quixel Megascans.
Die Rendering-Pipeline von Unreal Engine eignet sich hervorragend zur Simulation der Sensoren, die Roboter in der realen Welt verwenden, darunter RGB/HDR-Kameras, Tiefenkameras, LiDAR-Punktwolken, Radar- und SAR-Nutzlasten, thermische/FLIR-Bildgebung, IMU- und GPS-Modelle sowie Unterwassersonar (mithilfe von HoloOcean). Unreal Engine kann außerdem wichtige Sensoreigenschaften wie Rauschen, Verzerrung, Latenz und Synchronisierung modellieren, um reale Hardware besser anzupassen.
Die Digitaler-Zwilling-Plattform Falcon von AI Duality ist hierfür ein gutes Beispiel. Ihre konfigurierbare Bibliothek simulationsfähiger Sensoren umfasst Kameras, LiDAR, Radar sowie SAR, GPS, IMU und vieles mehr, wobei Unreal Engine die Daten verarbeitet, um hochpräzise Umweltsimulationen zu erstellen.
"Wir haben Falcon mit Unreal Engine als Kernbestandteil entwickelt, weil wir wussten, wie viel sie Roboteringenieuren und Ingenieuren für physikalische KI zu bieten hat", erklärt Apurva Shah, CEO von Duality AI.
Robotikteams können außerdem das Framework zur prozeduralen Inhaltserstellung (PCG) der Engine nutzen, um Innenraum-Umgebungen über Trainingsepisoden hinweg zu variieren. In einer Lagerhaus- oder Büroszene könnte man Layouts (zum Beispiel die Platzierung von Regalen oder Tischen), Objekte wie Kisten oder Werkzeuge sowie visuelle Faktoren wie Materialien, Beleuchtung und Okklusionen randomisieren.
Und für das Erstellen von Simulationsumgebungen oder das Auffüllen von Szenen mit Objekten ist der Fab-Marketplace eine großartige Quelle für hochwertige, erschwingliche und leicht zu integrierende 3D-Inhalte – einschließlich hochpräziser, mithilfe von Fotogrammetrie erstellter Quixel Megascans.
Sensorsimulation: Erstellen eines umfassenden Bildes der Welt
Moderne Robotik basiert auf multimodaler Wahrnehmung, bei der eine Umgebung durch mehrere Sensortypen gleichzeitig verstanden wird, anstatt sich auf einen einzigen Input zu verlassen.Die Rendering-Pipeline von Unreal Engine eignet sich hervorragend zur Simulation der Sensoren, die Roboter in der realen Welt verwenden, darunter RGB/HDR-Kameras, Tiefenkameras, LiDAR-Punktwolken, Radar- und SAR-Nutzlasten, thermische/FLIR-Bildgebung, IMU- und GPS-Modelle sowie Unterwassersonar (mithilfe von HoloOcean). Unreal Engine kann außerdem wichtige Sensoreigenschaften wie Rauschen, Verzerrung, Latenz und Synchronisierung modellieren, um reale Hardware besser anzupassen.
Die Digitaler-Zwilling-Plattform Falcon von AI Duality ist hierfür ein gutes Beispiel. Ihre konfigurierbare Bibliothek simulationsfähiger Sensoren umfasst Kameras, LiDAR, Radar sowie SAR, GPS, IMU und vieles mehr, wobei Unreal Engine die Daten verarbeitet, um hochpräzise Umweltsimulationen zu erstellen.
"Wir haben Falcon mit Unreal Engine als Kernbestandteil entwickelt, weil wir wussten, wie viel sie Roboteringenieuren und Ingenieuren für physikalische KI zu bieten hat", erklärt Apurva Shah, CEO von Duality AI.
Courtesy of Duality AI
dSPACEs AURELION zeigt zudem, wie Unreal Engine in etablierte Workflows für autonome Fahrzeuge und Robotik integriert werden kann. So nutzt beispielsweise das Korean Testing Laboratory (KTL) AURELION, um autonome Serviceroboter in einer virtuellen Krankenhausumgebung einschließlich Korridoren, Aufzügen und Patientenzimmern zu testen. Virtuelle Sensoren ermöglichen es Entwicklern, Navigation, Hindernisvermeidung und Systemreaktionen vor der Bereitstellung in der realen Welt zu bewerten.
"Unreal Engine ist das technologische Rückgrat unserer physikbasierten Sensorsimulationslösung AURELION", erläutert Caius Seiger, Product Manager, Sensor Simulation bei dSPACE.
"Unreal Engine ist das technologische Rückgrat unserer physikbasierten Sensorsimulationslösung AURELION", erläutert Caius Seiger, Product Manager, Sensor Simulation bei dSPACE.
Courtesy of dSPACE GmbH
Die Engine ermöglicht sensorrealistische Kamerasimulationen, einschließlich genauer Linsen- und Bildsensormodellierung. "Der Zugriff auf den Quellcode hat es uns ermöglicht, die Plattform um Echtzeit-Raytracing zu erweitern, um präzise Rohsensordaten für Radar-, LiDAR- und Ultraschallsensoren zu generieren", sagt Seiger.
Die effiziente Integration von 3D-Modellen und Materialien in Unreal Engine unterstützt ein breites Spektrum von Anwendungen – von städtischen Lieferdrohnen bis zu Krankenhaus-Servicerobotern.
Auch MATLAB und Simulink von MathWorks lassen sich über Simulink 3D Animation in die Unreal Engine integrieren. "Ingenieure können Unreal Engine für fotorealistisches Rendering und Sensorsimulation verwenden, während durch die Werkzeuge von MathWorks Wahrnehmung, Planung, Steuerung und physikbasierte Modellierung in eine einheitliche Simulationsumgebung integriert werden", sagt Nishan Nekoo, Product Manager bei Simulink 3D Animation.
Dieser Workflow hilft Teams, die Entwicklung und Validierung der Autonomie früher in den Designzyklus einzubauen, sodass Teams Probleme früher, sicherer und mit größerer Zuverlässigkeit erkennen können.
Einige Robotikunternehmen bauen ihre eigene Middleware, um den Anforderungen von Produktionssystemen gerecht zu werden. Tempo Simulation wurde mit dieser Realität im Hinterkopf entwickelt. Ihre Open-Source-Plattform bietet eine flexible gRPC/Protobuf-Schnittstelle, die es Robotikteams ermöglicht, Unreal Engine direkt mit ihren eigenen Autonomiestacks und ihrer Middleware zu verbinden. Neben der TempoROS-Integration stellt Tempo auch Werkzeuge zum Erstellen von realistischen Simulationsumgebungen, Sensormodellen und komplexen Verhaltensweisen von Agents innerhalb der Unreal Engine zur Verfügung.
Die effiziente Integration von 3D-Modellen und Materialien in Unreal Engine unterstützt ein breites Spektrum von Anwendungen – von städtischen Lieferdrohnen bis zu Krankenhaus-Servicerobotern.
Auch MATLAB und Simulink von MathWorks lassen sich über Simulink 3D Animation in die Unreal Engine integrieren. "Ingenieure können Unreal Engine für fotorealistisches Rendering und Sensorsimulation verwenden, während durch die Werkzeuge von MathWorks Wahrnehmung, Planung, Steuerung und physikbasierte Modellierung in eine einheitliche Simulationsumgebung integriert werden", sagt Nishan Nekoo, Product Manager bei Simulink 3D Animation.
Dieser Workflow hilft Teams, die Entwicklung und Validierung der Autonomie früher in den Designzyklus einzubauen, sodass Teams Probleme früher, sicherer und mit größerer Zuverlässigkeit erkennen können.
ROS-Integration: Die Brücke zwischen Spielengine und Roboter schlagen
Bisweilen bekommen Robotikteams, die über den Einsatz von Spielengines nachdenken, Sorgenfalten hinsichtlich der Kompatibilität mit Robotik-Middleware. Inzwischen lässt sich Unreal Engine aber mühelos über mehrere ausgereifte Bridges, darunter ROSIntegration, rclUE, UE ROS2 Sensor-Plugins und CARLA, in ROS und ROS2 integrieren.Einige Robotikunternehmen bauen ihre eigene Middleware, um den Anforderungen von Produktionssystemen gerecht zu werden. Tempo Simulation wurde mit dieser Realität im Hinterkopf entwickelt. Ihre Open-Source-Plattform bietet eine flexible gRPC/Protobuf-Schnittstelle, die es Robotikteams ermöglicht, Unreal Engine direkt mit ihren eigenen Autonomiestacks und ihrer Middleware zu verbinden. Neben der TempoROS-Integration stellt Tempo auch Werkzeuge zum Erstellen von realistischen Simulationsumgebungen, Sensormodellen und komplexen Verhaltensweisen von Agents innerhalb der Unreal Engine zur Verfügung.
Courtesy of Aurum Systems and Tempo Simulation
"Bei Tempo haben wir aus erster Hand gesehen, wie mächtig das Rad ist, das sich durch Simulationen drehen lässt. Wenn Teams im Rahmen von Simulationen Daten generieren, Verhaltensweisen testen und schnell iterieren können, verkürzen sich die Entwicklungszyklen dramatisch. Unser Ziel ist es, jedem Robotikteam realistische, wiedergabegetreue Unreal Engine-Simulationen zugänglich zu machen", erläutert Peter Melick, Mitbegründer und CEO von Tempo Simulation.
Dies ist ein großartiges Beispiel dafür, wie Unreal Engine nahtlos als Echtzeitsimulator für Softwaresysteme funktionieren kann, die es Robotern ermöglichen, autonom zu arbeiten.
Beim Lernen durch Verstärkung (Reinforcement Learning, RL), bei dem ein Agent durch Interagieren mit der Umgebung und Belohnungen oder Strafen für seine Handlungen lernt, bestimmen Realismus und Responsivität der Simulationsumgebung ganz direkt, wie effektiv die erlernten Verhaltensweisen auf die reale Welt übertragen werden können.
Frameworks wie Gym-UnrealCV und die Nachfolger von AirSim integrieren Unreal Engine mithilfe von RL-Pipelines für Drohnennavigation, Objektverfolgung und robotische Steuerung.
Das Chaos-Physik-System der Unreal Engine übernimmt Festkörperdynamik, Gelenkverbindungen, Kollisionen und Fahrzeugdynamik. Hybride Architekturen, die das Rendering der Engine mit MuJoCo oder Bullet für die Kontaktmodellierung kombinieren, erweisen sich als Best Practice für robotische Dynamiken.
Und im Bereich der Skalierbarkeit ermöglichen Linux-Container, Docker-Unterstützung und GPU-beschleunigtes monitorloses Rendering synthetische Datengenerierung und Autonomietest-Pipelines im Cloud-Maßstab.
CARLA ist der am weitesten verbreitete Open-Source-Simulator für autonomes Fahren. Er läuft aktuell auf UE 5.5. und integriert LiDAR, Radar, mehrere Kameratypen, GPS, semantische Segmentierung und native ROS2-Konnektivität.
Basierend auf UE5 bietet HoloOcean Multi-Agent-Unterwassersimulation mit DVL, IMU, optischen/akustischen Modems und einem neuartigen auf Octree basierenden Sonarsensormodell – eine seltene Fähigkeit im Bereich der Unterwassersimulatoren. Lumen und Nanite von UE5 verbessern die visuelle Realitätsnähe des Simulators unter Wasser erheblich.
Und die Digitaler-Zwilling-Plattform Falcon von Duality AI, die direkt auf Unreal Engine basiert, hat eine Reihe von Branchenauszeichnungen erhalten, darunter: Fast Company's World Changing Ideas, Best Product in AI & Data bei den Product Awards sowie den Preis in der Kategorie Data Engines & Simulation bei den Robotics and Physical AI Awards. Zu den Nutzern von Falcon gehören NASA-JPL, Honeywell, DARPA und Procter & Gamble.
PteroSim von PteroLabs ist ein UAV-Flugsimulator, der auf UE5 mit JSBSim 6-DOF-Aerodynamik basiert und Starrflügelflugzeuge, Multicopter, Senkrechtstarter und Hubschrauber mit über 100 simultanen Drohnen unterstützt. Er führt echte Autopilot-Firmware in der Schleife (PX4, ArduPilot) über dasselbe MAVLink-Protokoll und dieselbe Bodenstationssoftware aus, die auch bei echten Drohnen zum Einsatz kommt, was eine nahtlose Validierung der Simulation im Vergleich zur Realität ermöglicht.
Die Plattform umfasst die Modellierung atmosphärischer Störungen (Dryden-Turbulenzen, Böen, Mikrobursts) sowie eine gRPC-Python-API für automatisierte Testszenarien und läuft für ML-Trainings- und RL-Workflows deutlich schneller als in Echtzeit. PteroSim wird von den DARPA Lift Challenge-Teams zur Vorflugvalidierung autonomer Flugzeuge verwendet.
"Wir haben uns für Unreal Engine entschieden, weil die visuelle Qualität unerreicht ist. Außerdem hat die Engine C++ unter der Haube, was bedeutet, dass wir echte Flugdynamiken ausführen können, ohne dabei Kompromisse eingehen zu müssen", sagt Alexander Kalmykov, Gründer von PteroLabs. "Die Engine skaliert auf jeder Hardwarekonfiguration, und wann immer wir Problem hatten, hatte die UE-Community bereits eine Lösung parat."
Dies ist ein großartiges Beispiel dafür, wie Unreal Engine nahtlos als Echtzeitsimulator für Softwaresysteme funktionieren kann, die es Robotern ermöglichen, autonom zu arbeiten.
Unterstützung der kompletten Simulationsschleife
Die größte Stärke von Unreal Engine in der Robotik liegt in der Wahrnehmung und in der Bereitstellung synthetischer Daten. Die Engine unterstützt aber auch die vollständige Simulationsschleife.Beim Lernen durch Verstärkung (Reinforcement Learning, RL), bei dem ein Agent durch Interagieren mit der Umgebung und Belohnungen oder Strafen für seine Handlungen lernt, bestimmen Realismus und Responsivität der Simulationsumgebung ganz direkt, wie effektiv die erlernten Verhaltensweisen auf die reale Welt übertragen werden können.
Frameworks wie Gym-UnrealCV und die Nachfolger von AirSim integrieren Unreal Engine mithilfe von RL-Pipelines für Drohnennavigation, Objektverfolgung und robotische Steuerung.
Das Chaos-Physik-System der Unreal Engine übernimmt Festkörperdynamik, Gelenkverbindungen, Kollisionen und Fahrzeugdynamik. Hybride Architekturen, die das Rendering der Engine mit MuJoCo oder Bullet für die Kontaktmodellierung kombinieren, erweisen sich als Best Practice für robotische Dynamiken.
Und im Bereich der Skalierbarkeit ermöglichen Linux-Container, Docker-Unterstützung und GPU-beschleunigtes monitorloses Rendering synthetische Datengenerierung und Autonomietest-Pipelines im Cloud-Maßstab.
Betrieb großer Robotiksimulationsplattformen
Unreal Engine ist mehr als nur ein Rendering-Werkzeug. Es bildet die Grundlage mehrerer großer Robotik-Simulationsplattformen.CARLA ist der am weitesten verbreitete Open-Source-Simulator für autonomes Fahren. Er läuft aktuell auf UE 5.5. und integriert LiDAR, Radar, mehrere Kameratypen, GPS, semantische Segmentierung und native ROS2-Konnektivität.
Basierend auf UE5 bietet HoloOcean Multi-Agent-Unterwassersimulation mit DVL, IMU, optischen/akustischen Modems und einem neuartigen auf Octree basierenden Sonarsensormodell – eine seltene Fähigkeit im Bereich der Unterwassersimulatoren. Lumen und Nanite von UE5 verbessern die visuelle Realitätsnähe des Simulators unter Wasser erheblich.
Und die Digitaler-Zwilling-Plattform Falcon von Duality AI, die direkt auf Unreal Engine basiert, hat eine Reihe von Branchenauszeichnungen erhalten, darunter: Fast Company's World Changing Ideas, Best Product in AI & Data bei den Product Awards sowie den Preis in der Kategorie Data Engines & Simulation bei den Robotics and Physical AI Awards. Zu den Nutzern von Falcon gehören NASA-JPL, Honeywell, DARPA und Procter & Gamble.
PteroSim von PteroLabs ist ein UAV-Flugsimulator, der auf UE5 mit JSBSim 6-DOF-Aerodynamik basiert und Starrflügelflugzeuge, Multicopter, Senkrechtstarter und Hubschrauber mit über 100 simultanen Drohnen unterstützt. Er führt echte Autopilot-Firmware in der Schleife (PX4, ArduPilot) über dasselbe MAVLink-Protokoll und dieselbe Bodenstationssoftware aus, die auch bei echten Drohnen zum Einsatz kommt, was eine nahtlose Validierung der Simulation im Vergleich zur Realität ermöglicht.
Die Plattform umfasst die Modellierung atmosphärischer Störungen (Dryden-Turbulenzen, Böen, Mikrobursts) sowie eine gRPC-Python-API für automatisierte Testszenarien und läuft für ML-Trainings- und RL-Workflows deutlich schneller als in Echtzeit. PteroSim wird von den DARPA Lift Challenge-Teams zur Vorflugvalidierung autonomer Flugzeuge verwendet.
"Wir haben uns für Unreal Engine entschieden, weil die visuelle Qualität unerreicht ist. Außerdem hat die Engine C++ unter der Haube, was bedeutet, dass wir echte Flugdynamiken ausführen können, ohne dabei Kompromisse eingehen zu müssen", sagt Alexander Kalmykov, Gründer von PteroLabs. "Die Engine skaliert auf jeder Hardwarekonfiguration, und wann immer wir Problem hatten, hatte die UE-Community bereits eine Lösung parat."
Courtesy of SAS Institute
Industrie 4.0
Industrie 4.0, eine Verschmelzung von Robotik, Automatisierung und digitalen Technologien, setzt auf Echtzeitsimulation und digitale Zwillinge, um Produktionsänderungen virtuell zu testen. Dies reduziert Risiken und Kosten, indem Automatisierungsentscheidungen vor ihrer Implementierung validiert werden.SAS ist ein Branchenführer im Bereich Industrie 4.0, der die wiedergabegetreue Visualisierung von Unreal Engine mit SAS AI/Analytics Viya kombiniert, um intelligente digitale Zwillinge für die Fabrikautomatisierung zu schaffen. Ein Pilotprojekt mit Georgia-Pacific verwendet einen mithilfe von Unreal Engine bereitgestellten digitalen Zwilling von SAS, um AGV-Bewegungen, Qualitätskontrolle und Wartungsplanung in einer Live-Fabrik zu visualisieren und zu optimieren.
Moderne Einrichtungen sind zunehmend komplexe Umgebungen, in denen Menschen und Roboter koexistieren müssen, was Sicherheit und Effizienz zu entscheidenden Faktoren macht.
Glynn Newby, Marketing Manager for Manufacturing bei SAS, erklärt: "Unsere Strategie vereint fotorealistische Simulationen mit KI und fortschrittlichen Analysen, um Führungskräfte zu unterstützen, detaillierte digitale Zwillinge zu erstellen und Entscheidungen vor größeren Investitionen auf Herz und Nieren zu prüfen. Synthetische Daten werden nahtlos zwischen Unreal Engine und SAS ausgetauscht. Wir sind überzeugt, dass dieser Ansatz das Potenzial hat, Produktivität, Sicherheit und operative Effizienz in allen Einrichtungen weltweit erheblich zu verbessern."
Die Entwicklung einer Robotikplattform
Unreal Engine wurde nicht als Robotikplattform entwickelt. Doch die zunehmende Bedeutung synthetischer Daten, Fortschritte bei der Übertragung von Simulationen auf die reale Welt und die Nachfrage nach fotorealistischer Sensorsimulationen haben sie dazu gemacht.Da es sich um eine Echtzeit-Engine handelt, die mit dem Ziel der Interaktivität entwickelt wurde, unterstützt UE5 Human-in-the-Loop-Simulationen, Bedienerschulungen, Teleoperationsschnittstellen, XR-Erlebnisse und digitale Zwillinge – und das alles innerhalb derselben Laufzeit, die für die KI-Entwicklung verwendet wird.
Teams können Prototyping für Maschinenautonomie durchführen, interaktive Visualisierungswerkzeuge entwickeln und mit Mensch-Maschine-Interaktions-Workflows experimentieren, ohne die Plattform wechseln zu müssen.
Für Robotikteams, deren Modelle die reale Welt genau sehen müssen – sei es, um Objekte in einer Fabrik zu erkennen, an einer Verkehrskreuzung zu navigieren oder während einer Operation die Anatomie zu identifizieren –, ist Unreal Engine zu einer überzeugenden Plattform geworden, um in Simulationen zu trainieren und in der Realität bereitzustellen.