シミュレーション業界は大きな転換期を迎えており、人間を訓練するためのツールの開発から、機械を訓練するためのツールの開発へと移行しつつあります。
このためには、実世界と直接連携し、認識し、相互に作用する AI システムが必要です。物理 AI をご覧ください。
AI モデルとセンサー、カメラ、アクチュエーターを組み合わせることで、ロボット、自動運転車、ドローンなどのシステムは、予測不可能な環境に適応しながら、リアルタイムに理解、推論、行動することができます。
Unreal Engine は、単なるシミュレーターとしてだけでなく、次世代ロボティクス システムを支える合成データ ファクトリおよびリアルタイム自律プラットフォームとして、ロボティクス開発チームにとって欠かせないプラットフォームになりつつあります。
ロボットが実世界で動作するようにトレーニングするには、知覚のための注釈付き画像、制御ポリシーのための物理インタラクション、安全性検証のためのエッジケース シナリオといった膨大な量のデータが必要です。
こうしたデータを実世界で収集するのには、時間がかかり、費用も高く、危険が伴い、根本的な限界があります。たとえば、1,000 件もの自動車事故を再現したり、倉庫内でハリケーンをシミュレーションしたり、手術の合併症をオンデマンドで再現したりすることはできません。
これこそが、シミュレーションが現代の物理 AI 開発の基盤となっている理由です。シミュレーションが不可欠となった今、真の課題は「どのプラットフォームが、最も低いコストで、最も迅速にイテレーション可能で、最高の知覚性能を提供できるか？」ということです。
ロボティクス開発チームにとって、Unreal Engine はますます有力な選択肢になりつつあります。なぜなら、ロボティクス シミュレーションにおいて、フォトリアリズムは単なる「あれば望ましい」ものではなく、技術的必須要件となっているからです。
このエンジンの強力なグラフィック機能は、「シミュレーションと現実のギャップ」、つまりモデルがシミュレーションで見るものと実際のロボットで遭遇するものとの間のギャップを埋めるための最良の選択肢となります。
そのロジックはシンプルです。合成画像が実際の写真に似ていれば似ているほど、モデルがシミュレーションから現実へ一般化するために必要な追加処理が少なくなります。
Unreal Engine 5 は、この分野を根本的に変革する 3 つの技術を導入しました。フォトリアリズムを実現するだけでなく、それをリアルタイムで実現したのです。
Nanite 仮想化マイクロポリゴン ジオメトリは、CAD インポート、フォトグラメトリ スキャン、高密度な工業環境などに適した、きわめて高解像度のアセットをリアルタイムでレンダリングします。
Lumen ダイナミック グローバル イルミネーションは、ほぼ無限の光の反射と間接反射をリアルタイムで計算し、直接光の変化 (ライトの点灯など) やジオメトリの変化 (ドアの開閉など) に反応する、物理的に正確なライティングを実現します。
また、NVIDIA の RTX アクセラレーション ブランチを含むハードウェア レイ トレーシングは、物理的に正確な反射、影、およびマテリアルの反応を実現します。
General Robotics は、Unreal Engine を使用して、ロボティクス自律システムのテストとデモのためのリアルな仮想環境を作成し、ロボティクス プラットフォームでスケーラブルなシミュレーションと視覚的検証を実現しました。
General Robotics の共同創設者兼 CTO である Sai Vemprala 氏は次のように述べています。「Unreal Engine のフォトリアリズムとワールド コントロールにより、さまざまなシナリオにおける実世界の挙動を予測できます。また、エージェント自律性により、スケーラビリティが向上します」
このためには、実世界と直接連携し、認識し、相互に作用する AI システムが必要です。物理 AI をご覧ください。
AI モデルとセンサー、カメラ、アクチュエーターを組み合わせることで、ロボット、自動運転車、ドローンなどのシステムは、予測不可能な環境に適応しながら、リアルタイムに理解、推論、行動することができます。
Unreal Engine は、単なるシミュレーターとしてだけでなく、次世代ロボティクス システムを支える合成データ ファクトリおよびリアルタイム自律プラットフォームとして、ロボティクス開発チームにとって欠かせないプラットフォームになりつつあります。
技術的要件としてのフォトリアリズム
ロボットが実世界で動作するようにトレーニングするには、知覚のための注釈付き画像、制御ポリシーのための物理インタラクション、安全性検証のためのエッジケース シナリオといった膨大な量のデータが必要です。こうしたデータを実世界で収集するのには、時間がかかり、費用も高く、危険が伴い、根本的な限界があります。たとえば、1,000 件もの自動車事故を再現したり、倉庫内でハリケーンをシミュレーションしたり、手術の合併症をオンデマンドで再現したりすることはできません。
これこそが、シミュレーションが現代の物理 AI 開発の基盤となっている理由です。シミュレーションが不可欠となった今、真の課題は「どのプラットフォームが、最も低いコストで、最も迅速にイテレーション可能で、最高の知覚性能を提供できるか？」ということです。
ロボティクス開発チームにとって、Unreal Engine はますます有力な選択肢になりつつあります。なぜなら、ロボティクス シミュレーションにおいて、フォトリアリズムは単なる「あれば望ましい」ものではなく、技術的必須要件となっているからです。
このエンジンの強力なグラフィック機能は、「シミュレーションと現実のギャップ」、つまりモデルがシミュレーションで見るものと実際のロボットで遭遇するものとの間のギャップを埋めるための最良の選択肢となります。
そのロジックはシンプルです。合成画像が実際の写真に似ていれば似ているほど、モデルがシミュレーションから現実へ一般化するために必要な追加処理が少なくなります。
Unreal Engine 5 は、この分野を根本的に変革する 3 つの技術を導入しました。フォトリアリズムを実現するだけでなく、それをリアルタイムで実現したのです。
Nanite 仮想化マイクロポリゴン ジオメトリは、CAD インポート、フォトグラメトリ スキャン、高密度な工業環境などに適した、きわめて高解像度のアセットをリアルタイムでレンダリングします。
Lumen ダイナミック グローバル イルミネーションは、ほぼ無限の光の反射と間接反射をリアルタイムで計算し、直接光の変化 (ライトの点灯など) やジオメトリの変化 (ドアの開閉など) に反応する、物理的に正確なライティングを実現します。
また、NVIDIA の RTX アクセラレーション ブランチを含むハードウェア レイ トレーシングは、物理的に正確な反射、影、およびマテリアルの反応を実現します。
General Robotics は、Unreal Engine を使用して、ロボティクス自律システムのテストとデモのためのリアルな仮想環境を作成し、ロボティクス プラットフォームでスケーラブルなシミュレーションと視覚的検証を実現しました。
General Robotics の共同創設者兼 CTO である Sai Vemprala 氏は次のように述べています。「Unreal Engine のフォトリアリズムとワールド コントロールにより、さまざまなシナリオにおける実世界の挙動を予測できます。また、エージェント自律性により、スケーラビリティが向上します」
Courtesy of General Robotics
このエンジンは、エージェント型ロボット評価の基盤となります。エージェントは、さまざまな環境や条件下でロボット AI の挙動評価をオーケストレーションして実行し、エッジケースを特定して、展開前に性能を評価します。
さらに、Unreal Engine は macOS 上で動作するため、ロボティクス エンジニアは SSH 経由で Linux にログインするのではなく、ラップトップ上でシミュレーターをネイティブに実行できます。これにより、低レイテンシー、より優れたグラフィック性能、ワークフローの簡素化といったメリットが得られます。
多くのマニピュレーションや移動タスクでは、接触ダイナミクスやアクチュエータの挙動の不正確さが、視覚的な違いが生じるはるか前に、障害を引き起こしています。
このような状況において、Unreal Engine の Chaos Physics システムは、その中核に倍精度演算を組み込んでおり、フォトリアルな環境におけるスケーラブルなトレーニング、知覚シミュレーション、リアルタイム インタラクションを実現する強力なツールとなります。
エンジニアは、サードパーティ製のツール、たとえば Algoryx が開発した高忠実度リアルタイム物理シミュレーション システムである AGX Dynamics for Unreal Engine などを用いて、システムの正確な物理的挙動をモデル化することも可能です。
さらに、Unreal Engine は macOS 上で動作するため、ロボティクス エンジニアは SSH 経由で Linux にログインするのではなく、ラップトップ上でシミュレーターをネイティブに実行できます。これにより、低レイテンシー、より優れたグラフィック性能、ワークフローの簡素化といったメリットが得られます。
物理シミュレーション
フォトリアリズムだけでは、シミュレーションと現実のギャップを埋めることはできません。物理の忠実度 (正確な接触、摩擦、変形、アクチュエーターのダイナミクス)、センサーのリアリズム (ローリング シャッター、LiDAR 強度、IMU ドリフト、レイテンシー)、適切な制御ループ モデリングも同様に重要です。多くのマニピュレーションや移動タスクでは、接触ダイナミクスやアクチュエータの挙動の不正確さが、視覚的な違いが生じるはるか前に、障害を引き起こしています。
このような状況において、Unreal Engine の Chaos Physics システムは、その中核に倍精度演算を組み込んでおり、フォトリアルな環境におけるスケーラブルなトレーニング、知覚シミュレーション、リアルタイム インタラクションを実現する強力なツールとなります。
エンジニアは、サードパーティ製のツール、たとえば Algoryx が開発した高忠実度リアルタイム物理シミュレーション システムである AGX Dynamics for Unreal Engine などを用いて、システムの正確な物理的挙動をモデル化することも可能です。
Courtesy of Algoryx Simulation
AGX は、マルチボディ メカニクス、油圧システム、駆動系、エンジン、トラックや車輪、動的に変形可能な地形など、機械全体の物理的に正確なシミュレーションを可能にします。
Algoryx の CEO 兼共同創設者である Kenneth Bodin 氏は説明します。「自律型機械は物理を理解していなければなりません。シミュレーションで、機械が実際に世界とどのように相互作用するかを捉えることができていない場合、AI は誤った動作を学習してしまいます。AGX のエンジニアリンググレードの物理シミュレーションと Unreal Engine のフォトリアルな環境を組み合わせることで、自律型機械を大規模にトレーニング、テスト、検証できるデジタル ワールドを構築できます」
エンジニアにとって、このパイプラインは拡張性と自動化に優れています。RealityScan は、重要な位置合わせデータとポーズ データをエクスポートすると同時に、標準的なコンピュータ ビジョン (CV) 形式 (Colmap など) にも対応しています。最先端の画像アライメント機能は、ガウス スプラッティング (高精細のフォトリアルなアセット) を比較的少ない労力で作成するための基盤となります。
RealityScan は、Linux サーバー上で動作し、Remote Command プラグインまたは CLI スクリプトで制御できます。そのため、複数のマシンでスキャンを継続的に処理し、結果を Unreal Engine に直接送信する自動フォトグラメトリ パイプラインを構築できます。
そのため、UE は、撮影後に人間が画像にラベルを付けるのではなく、画像をレンダリングすると同時に、きわめて高精度のラベルを自動的に出力できます。
Algoryx の CEO 兼共同創設者である Kenneth Bodin 氏は説明します。「自律型機械は物理を理解していなければなりません。シミュレーションで、機械が実際に世界とどのように相互作用するかを捉えることができていない場合、AI は誤った動作を学習してしまいます。AGX のエンジニアリンググレードの物理シミュレーションと Unreal Engine のフォトリアルな環境を組み合わせることで、自律型機械を大規模にトレーニング、テスト、検証できるデジタル ワールドを構築できます」
RealityScan でさまざまなデータ ソースを統合・再構築
最先端のフォトグラメトリとリアルタイム技術を組み合わせることで、ロボティクス チームはリアルな仮想環境を構築するための強力なパイプラインを構築できます。その好例が、RealityScan と Unreal Engine 間の確立されたワークフローです。このワークフローにより、実世界の現場やオブジェクトをロボティクス シミュレーション用のデジタル ツインに迅速に変換できます。RealityScan は、従来のフォトグラメトリや LiDAR に加え、SLAM 点群もサポートするようになりました。これにより、環境構築のボトルネックが解消され、展開領域にきわめて近い合成トレーニング環境と回帰環境を迅速に生成できます。これは、特にカメラ優先の知覚において、シミュレーションと現実のギャップを縮小するために非常に重要です。エンジニアにとって、このパイプラインは拡張性と自動化に優れています。RealityScan は、重要な位置合わせデータとポーズ データをエクスポートすると同時に、標準的なコンピュータ ビジョン (CV) 形式 (Colmap など) にも対応しています。最先端の画像アライメント機能は、ガウス スプラッティング (高精細のフォトリアルなアセット) を比較的少ない労力で作成するための基盤となります。
RealityScan は、Linux サーバー上で動作し、Remote Command プラグインまたは CLI スクリプトで制御できます。そのため、複数のマシンでスキャンを継続的に処理し、結果を Unreal Engine に直接送信する自動フォトグラメトリ パイプラインを構築できます。
高速で、コスト効率の高いトレーニングのための合成データ
Unreal Engine はすべてのピクセルを数学的に生成するため、シーンに関するあらゆる情報 (各オブジェクトの位置、距離、マテリアル、動き) をすでに把握しています。そのため、UE は、撮影後に人間が画像にラベルを付けるのではなく、画像をレンダリングすると同時に、きわめて高精度のラベルを自動的に出力できます。
これには多くの利点があります。アノテーター間の不一致がなくなり、データセット内のラベルの不整合 (フォークリフトがトラックとラベル付けされるなど) もなくなり、高コストな品質管理ループも必要なくなります。
さらに、コスト面にも明らかなインパクトがあります。合成データを用いたトレーニング シミュレーションを大規模に実行することで、画像あたりのコストを大幅に削減できます。
ほとんどの知覚パイプラインにおいて、合成データが手動アノテーションよりも費用対効果に優れるコスト上の分岐点は、チームが予想するよりもはるかに早く、多くの場合、わずか数万枚の画像処理でコスト効率が手動アノテーションを上回ります。
ほとんどのロボティクス モデルは数百万枚の画像を必要とするため、合成データの使用により、大幅にコストを削減できます。
このことは市場の動向にも明確に表れており、合成データは、AI トレーニング パイプラインの主要な構成要素になると予測されています。
さらに、コスト面にも明らかなインパクトがあります。合成データを用いたトレーニング シミュレーションを大規模に実行することで、画像あたりのコストを大幅に削減できます。
ほとんどの知覚パイプラインにおいて、合成データが手動アノテーションよりも費用対効果に優れるコスト上の分岐点は、チームが予想するよりもはるかに早く、多くの場合、わずか数万枚の画像処理でコスト効率が手動アノテーションを上回ります。
ほとんどのロボティクス モデルは数百万枚の画像を必要とするため、合成データの使用により、大幅にコストを削減できます。
このことは市場の動向にも明確に表れており、合成データは、AI トレーニング パイプラインの主要な構成要素になると予測されています。
Courtesy of Duality AI
Duality AI は、Unreal Engine のこれらの機能を活用した Falcon デジタル ツイン プラットフォームを提供しています。このプラットフォームは、企業顧客向けに高精度な合成データとセンサー シミュレーションを生成し、さまざまな業界やユースケースで活用されています。
こうしたデジタル ツインへの投資は、ドローンの安全な飛行、荒野での確実なナビゲーション、さらには周回軌道衛星へのドッキングを実現するための AI モデルの迅速なトレーニングとデプロイメントという点で、測定可能な ROI をもたらします。これらのシナリオすべてにおいて、Falcon のデジタル ツイン環境と仮想センサーは、シミュレーションと現実のギャップを埋めることが実証された、きわめて精度の高い合成データを提供します。
Duality AI の CEO、Apurva Shah 氏は次のように述べています。「Unreal Engine の高度なレンダリング機能、物理ソルバ、スケーラブルなシーン管理、確立されたデュアル ユース開発コミュニティがなければ、これは実現不可能でした」
ドメイン ランダム化とは、シミュレーション環境で学習したモデルが、実世界でより優れた汎化性能を発揮できるよう、シミュレーション環境の要素を意図的にランダム化する手法です。
モデルがシミュレーションで十分な多様性を経験すれば、狭い合成環境に過剰に適合することなく、実世界の雑多な状況においても適切に機能します。
このような高精度な環境モデリングの必要性は、Forterra にとって最優先事項です。同社の自動運転システム AutoDrive は、舗装された市街地のような予測可能なマーカーがない、構造化された環境と非構造化された環境の両方を含む、複雑なオフロードおよびオンロード環境を走行します。配送センターや港から複合輸送施設や天然資源の産業施設まで、Forterra のシステムは、多種多様な地形、変化する路面、そして予測不可能な障害物をリアルタイムに処理しなければなりません。
Forterra は、高精度なシミュレーションと合成データを活用することで、自社の自律走行スタックをほぼ無限の太陽な天候、ライティング、地形の障害物に対して検証することができます。
Forterra のシミュレーション＆システム検証担当ディレクターである Jeremy Joseph 博士は次のように説明します。「Forterra では、複雑な環境下でも確実に動作する自律システムを開発するうえで、高精度シミュレーションは欠かせない要素です。
当社は、Unreal Engine を車両のテストに活用しています。これは、物理法則に忠実なセンサー シミュレーションと、天候、地形、障害物の無限のバリエーションを網羅した完全なミッション プロファイルで、高精度なデジタル環境でテストを行うことができるためです。これはきわめて重要です。なぜなら、エンドユーザーの安全は Forterra にとって最重要事項であり、こういった機能によって実車両で問題が発生する前に問題を特定し、解決することができるからです」
こうしたデジタル ツインへの投資は、ドローンの安全な飛行、荒野での確実なナビゲーション、さらには周回軌道衛星へのドッキングを実現するための AI モデルの迅速なトレーニングとデプロイメントという点で、測定可能な ROI をもたらします。これらのシナリオすべてにおいて、Falcon のデジタル ツイン環境と仮想センサーは、シミュレーションと現実のギャップを埋めることが実証された、きわめて精度の高い合成データを提供します。
Duality AI の CEO、Apurva Shah 氏は次のように述べています。「Unreal Engine の高度なレンダリング機能、物理ソルバ、スケーラブルなシーン管理、確立されたデュアル ユース開発コミュニティがなければ、これは実現不可能でした」
ドメイン ランダム化：予期せぬ事態への備え
ドメイン ランダム化とは、シミュレーション環境で学習したモデルが、実世界でより優れた汎化性能を発揮できるよう、シミュレーション環境の要素を意図的にランダム化する手法です。モデルがシミュレーションで十分な多様性を経験すれば、狭い合成環境に過剰に適合することなく、実世界の雑多な状況においても適切に機能します。
このような高精度な環境モデリングの必要性は、Forterra にとって最優先事項です。同社の自動運転システム AutoDrive は、舗装された市街地のような予測可能なマーカーがない、構造化された環境と非構造化された環境の両方を含む、複雑なオフロードおよびオンロード環境を走行します。配送センターや港から複合輸送施設や天然資源の産業施設まで、Forterra のシステムは、多種多様な地形、変化する路面、そして予測不可能な障害物をリアルタイムに処理しなければなりません。
Forterra は、高精度なシミュレーションと合成データを活用することで、自社の自律走行スタックをほぼ無限の太陽な天候、ライティング、地形の障害物に対して検証することができます。
Forterra のシミュレーション＆システム検証担当ディレクターである Jeremy Joseph 博士は次のように説明します。「Forterra では、複雑な環境下でも確実に動作する自律システムを開発するうえで、高精度シミュレーションは欠かせない要素です。
当社は、Unreal Engine を車両のテストに活用しています。これは、物理法則に忠実なセンサー シミュレーションと、天候、地形、障害物の無限のバリエーションを網羅した完全なミッション プロファイルで、高精度なデジタル環境でテストを行うことができるためです。これはきわめて重要です。なぜなら、エンドユーザーの安全は Forterra にとって最重要事項であり、こういった機能によって実車両で問題が発生する前に問題を特定し、解決することができるからです」
Courtesy of Forterra
Unreal Engine は、プログラマブルなマテリアル システムとダイナミック ライティングを備えているため、ドメインのランダム化に特に適しています。テクスチャやマテリアル、照明条件、天候や大気、オブジェクトの配置や形状、さらにはカメラの位置やレンズ パラメータなどをランダム化することができます。
ロボティクス チームは、Unreal Engine のプロシージャル コンテンツ生成 (PCG) フレームワークを活用して、トレーニングのエピソードごとに屋内環境を変化させることもできます。倉庫やオフィスのシーンでは、レイアウト (棚やテーブルの配置など)、箱や工具などの雑多なオブジェクト、マテリアル、ライティング、オクルージョン (遮蔽物) といった視覚的要素をランダムに設定することができます。
シミュレーション環境を構築したり、その環境にオブジェクトを配置したい方には、Fab マーケットプレイスが、高品質で手頃な価格の、簡単に統合できる 3D コンテンツの優れたソースとなります。これには、フォトグラメトリで作成された高精度な Quixel Megascans も含まれます。
Unreal Engine のレンダリング パイプラインは、RGB/HDR カメラ、深度カメラ、LiDAR 点群、レーダーおよび SAR ペイロード、赤外線/FLIR イメージング、IMU および GPS モデル、水中ソナー (HoloOcean 経由) など、ロボットが実世界で使用するセンサーのシミュレーションに特に適しています。また、ノイズ、歪み、遅延、同期といった主要なセンサー特性をモデル化することで、実際のハードウェアにより忠実に再現することができます。
Duality AI の Falcon デジタル ツイン プラットフォームはその一例です。このプラットフォームには、カメラ、LiDAR、レーダーおよび SAR、GPS、IMU など、シミュレーションに対応した設定可能なセンサー ライブラリが搭載されており、Unreal Engine がこれらのデータを処理することで、高精度な環境シミュレーションを生成することができます。
Duality AI の CEO、Apurva Shah 氏は次のように述べています。「Falcon の開発の中核として Unreal Engine を活用したのは、Unreal Engine がロボティクス AI エンジニアや物理 AI エンジニアに多くの可能性をもたらすことを理解していたからです」
ロボティクス チームは、Unreal Engine のプロシージャル コンテンツ生成 (PCG) フレームワークを活用して、トレーニングのエピソードごとに屋内環境を変化させることもできます。倉庫やオフィスのシーンでは、レイアウト (棚やテーブルの配置など)、箱や工具などの雑多なオブジェクト、マテリアル、ライティング、オクルージョン (遮蔽物) といった視覚的要素をランダムに設定することができます。
シミュレーション環境を構築したり、その環境にオブジェクトを配置したい方には、Fab マーケットプレイスが、高品質で手頃な価格の、簡単に統合できる 3D コンテンツの優れたソースとなります。これには、フォトグラメトリで作成された高精度な Quixel Megascans も含まれます。
センサー シミュレーション：世界の全体像を把握する
現代のロボティクスは、単一の入力に依存するのではなく、複数のタイプのセンサーを同時に活用して環境を把握するマルチモーダル知覚に依存しています。Unreal Engine のレンダリング パイプラインは、RGB/HDR カメラ、深度カメラ、LiDAR 点群、レーダーおよび SAR ペイロード、赤外線/FLIR イメージング、IMU および GPS モデル、水中ソナー (HoloOcean 経由) など、ロボットが実世界で使用するセンサーのシミュレーションに特に適しています。また、ノイズ、歪み、遅延、同期といった主要なセンサー特性をモデル化することで、実際のハードウェアにより忠実に再現することができます。
Duality AI の Falcon デジタル ツイン プラットフォームはその一例です。このプラットフォームには、カメラ、LiDAR、レーダーおよび SAR、GPS、IMU など、シミュレーションに対応した設定可能なセンサー ライブラリが搭載されており、Unreal Engine がこれらのデータを処理することで、高精度な環境シミュレーションを生成することができます。
Duality AI の CEO、Apurva Shah 氏は次のように述べています。「Falcon の開発の中核として Unreal Engine を活用したのは、Unreal Engine がロボティクス AI エンジニアや物理 AI エンジニアに多くの可能性をもたらすことを理解していたからです」
Courtesy of Duality AI
dSPACE の AURELION は、Unreal Engine が既存の自律走行車およびロボティクスのワークフローにどのように適合するかをさらに示しています。たとえば、韓国試験研究所 (KTL) は、AURELION を使用して、廊下、エレベーター、病室などを含む仮想病院環境で自律型サービス ロボットのテストを実施しています。仮想センサーを活用することで、開発者は実環境での導入前に、ナビゲーション、障害物回避、システムの応答性を評価できます。
dSPACE のセンサー シミュレーション担当プロダクト マネージャー、Caius Seiger 氏は次のように説明します。「Unreal Engine は、当社の物理ベース センサー シミュレーション ソリューション AURELION の技術的基盤となっています」
dSPACE のセンサー シミュレーション担当プロダクト マネージャー、Caius Seiger 氏は次のように説明します。「Unreal Engine は、当社の物理ベース センサー シミュレーション ソリューション AURELION の技術的基盤となっています」
Courtesy of dSPACE GmbH
UE は、高精度なレンズとイメージ センサーのモデリングを含む、センサーに忠実なカメラ シミュレーションを実現します。Seiger 氏は次のように述べています。「ソース コードへのアクセスが可能になったことで、リアルタイム レイ トレーシングを実装し、レーダー、LiDAR、超音波センサー用の高精度な生センサー データを生成することで、プラットフォームをさらに拡張することができました」
Unreal Engine の 3D モデルとマテリアルの効率的な統合は、都市部での配送ドローンから病院用サービス ロボットまで、幅広い用途に対応しています。
同様に、MathWorks の MATLAB と Simulink は、Simulink 3D Animation を通じて Unreal Engine と連携します。Simulink 3D Animation のプロダクト マネージャーである Nishan Nekoo 氏は次のように述べています。「エンジニアは Unreal Engine を使用してフォトリアルなレンダリングやセンサー シミュレーションを行うことができます。また、MathWorks のツールは知覚、プランニング、制御、物理ベースのモデリングを統合されたシミュレーション環境に統合します」
このワークフローにより、チームは自律システムの開発と検証を設計サイクルのより早い段階で進めることができ、問題をより早く、より安全に、より高い確信を持って検出することができます。
一部のロボティクス組織は、実稼働システムの要求を満たすために独自のミドルウェアを開発しています。Tempo Simulation は、この現状を踏まえて開発されました。Tempo Simulation のオープン ソース プラットフォームは、柔軟な gRPC/Protobuf インターフェースを提供し、ロボティクス チームが Unreal Engine を独自の自律制御スタックやミドルウェアに直接接続できるようにします。Tempo は TempoROS との統合に加え、Unreal Engine 内でリアルなシミュレーション環境、センサー モデル、複雑なエージェント動作を構築するためのツールも提供しています。
Unreal Engine の 3D モデルとマテリアルの効率的な統合は、都市部での配送ドローンから病院用サービス ロボットまで、幅広い用途に対応しています。
同様に、MathWorks の MATLAB と Simulink は、Simulink 3D Animation を通じて Unreal Engine と連携します。Simulink 3D Animation のプロダクト マネージャーである Nishan Nekoo 氏は次のように述べています。「エンジニアは Unreal Engine を使用してフォトリアルなレンダリングやセンサー シミュレーションを行うことができます。また、MathWorks のツールは知覚、プランニング、制御、物理ベースのモデリングを統合されたシミュレーション環境に統合します」
このワークフローにより、チームは自律システムの開発と検証を設計サイクルのより早い段階で進めることができ、問題をより早く、より安全に、より高い確信を持って検出することができます。
ROS の統合：ゲーム エンジンとロボットの連携
ゲーム エンジンの利用を検討しているロボティクス開発チームにとって、ロボティクス ミドルウェアとの互換性は懸念事項として挙げられることがあります。現在、Unreal Engine は、ROSIntegration、rclUE、UE ROS2 センサー プラグイン、CARLA など、複数の成熟したブリッジを介して、ROS および ROS2 とシームレスに連携しています。一部のロボティクス組織は、実稼働システムの要求を満たすために独自のミドルウェアを開発しています。Tempo Simulation は、この現状を踏まえて開発されました。Tempo Simulation のオープン ソース プラットフォームは、柔軟な gRPC/Protobuf インターフェースを提供し、ロボティクス チームが Unreal Engine を独自の自律制御スタックやミドルウェアに直接接続できるようにします。Tempo は TempoROS との統合に加え、Unreal Engine 内でリアルなシミュレーション環境、センサー モデル、複雑なエージェント動作を構築するためのツールも提供しています。
Courtesy of Aurum Systems and Tempo Simulation
「Tempo では、シミュレーションの好循環がいかに強力であるかを目の当たりにしてきました。チームがシミュレーション環境でデータを生成し、動作をテストし、迅速にイテレーションできるようになれば、開発サイクルは大幅に短縮されます。Tempo Simulation の共同創設者兼 CEO である Peter Melick 氏は次のように述べています。「当社の目標は、リアルで高忠実度の Unreal Engine シミュレーションをあらゆるロボティクス チームが利用できるようにすることです」
これは、Unreal Engine がロボットの自律動作を可能にするソフトウェア システムのリアルタイム シミュレーターとしてシームレスに機能することを示す好例です。
強化学習 (RL) では、エージェントは環境との相互作用を通じて学習し、その行動に対する報酬やペナルティを受け取ります。シミュレーション環境のリアリティと応答性は、学習された行動が実世界にどれだけ効果的に応用できるかを直接左右します。
Gym-UnrealCV や AirSim の後継となるフレームワークは、ドローンのナビゲーション、オブジェクト トラッキング、ロボット制御のための RL パイプラインと Unreal Engine を統合します。
Unreal Engine の Chaos Physics システムは、剛体力学、関節機構、コリジョン、車両動力学を処理します。エンジンのレンダリングと、接触モデリングのための MuJoCo または Bullet を組み合わせたハイブリッド アーキテクチャは、ロボティクスレベルの力学におけるベスト プラクティスとして台頭しています。
また、スケーラビリティの面では、Linux コンテナ、Docker サポート、GPU アクセラレーションによるヘッドレス レンダリングにより、クラウド規模の合成データ生成と自律性テスト パイプラインが実現します。
CARLA は、最も広く使用されているオープン ソースの自動運転シミュレーターで、現在 UE 5.5 上で動作し、LiDAR、レーダー、複数のカメラ タイプ、GPS、セマンティック セグメンテーション、ネイティブ ROS2 接続を統合しています。
UE5 をベースに構築された HoloOcean は、DVL、IMU、光/音響モデム、水中シミュレーターとしては珍しいオクツリーベースのソナー センサー モデルを備えたマルチエージェント水中シミュレーションを提供します。UE5 の Lumen と Nanite は、シミュレーターの水中視覚的なリアリズムを大幅に向上させます。
また、Unreal Engine に直接構築された Duality AI Falcon デジタル ツイン シミュレーション プラットフォームは、Fast Company の「World Changing Ideas」賞、Product Awards の AI ＆データ部門最優秀製品賞、Robotics and Physical AI Awards のデータ エンジン＆シミュレーション部門最優秀製品賞など、数々の業界賞を受賞しています。Falcon のユーザーには、NASA-JPL、Honeywell、DARPA、Procter & Gamble などが含まれます。
PteroLabs の PteroSim は、UE5 をベースに構築された UAV フライト シミュレーターです。JSBSim 6-DOF 自由度空力特性を備え、固定翼機、マルチローター機、VTOL 機、ヘリコプターなど、100 機以上のドローンを同時に運用できます。実機と同じ MAVLink プロトコルと地上局ソフトウェアを介して、実際のオートパイロット ファームウェア (PX4、ArduPilot) をループ内で実行し、シミュレーションと実機間のシームレスな検証を可能にします。
このプラットフォームには、大気擾乱モデリング (ドライデン乱流、突風、マイクロバースト) に加え、自動テスト シナリオ用の gRPC Python API が搭載されており、機械学習 (ML) トレーニングや強化学習 (RL) ワークフローにおいて、実時間よりも大幅に高速に動作します。PteroSim は、DARPA リフト チャレンジ チームが自律型航空機の飛行前検証に使用しています。
PteroLabs の創設者である Alexander Kalmykov 氏は次のように述べています。「Unreal Engine を選んだ理由は、きわめて優れたビジュアル品質と、内部で C++ を使用しているため、妥協することなくリアルな飛行力学を再現できるからです。このエンジンはあらゆるハードウェア構成に対応しています。さらに、行き詰まったときはいつでも、UE コミュニティで解決策を得ることができました」
これは、Unreal Engine がロボットの自律動作を可能にするソフトウェア システムのリアルタイム シミュレーターとしてシームレスに機能することを示す好例です。
シミュレーション ループ全体のサポート
Unreal Engine のロボティクス分野における最大の強みは知覚と合成データですが、シミュレーション ループ全体もサポートしています。強化学習 (RL) では、エージェントは環境との相互作用を通じて学習し、その行動に対する報酬やペナルティを受け取ります。シミュレーション環境のリアリティと応答性は、学習された行動が実世界にどれだけ効果的に応用できるかを直接左右します。
Gym-UnrealCV や AirSim の後継となるフレームワークは、ドローンのナビゲーション、オブジェクト トラッキング、ロボット制御のための RL パイプラインと Unreal Engine を統合します。
Unreal Engine の Chaos Physics システムは、剛体力学、関節機構、コリジョン、車両動力学を処理します。エンジンのレンダリングと、接触モデリングのための MuJoCo または Bullet を組み合わせたハイブリッド アーキテクチャは、ロボティクスレベルの力学におけるベスト プラクティスとして台頭しています。
また、スケーラビリティの面では、Linux コンテナ、Docker サポート、GPU アクセラレーションによるヘッドレス レンダリングにより、クラウド規模の合成データ生成と自律性テスト パイプラインが実現します。
主要なロボティクス シミュレーション プラットフォームを支える
Unreal Engine は単なるレンダリング ツールではありません。複数の主要なロボティクス シミュレーション プラットフォームの基盤となっています。CARLA は、最も広く使用されているオープン ソースの自動運転シミュレーターで、現在 UE 5.5 上で動作し、LiDAR、レーダー、複数のカメラ タイプ、GPS、セマンティック セグメンテーション、ネイティブ ROS2 接続を統合しています。
UE5 をベースに構築された HoloOcean は、DVL、IMU、光/音響モデム、水中シミュレーターとしては珍しいオクツリーベースのソナー センサー モデルを備えたマルチエージェント水中シミュレーションを提供します。UE5 の Lumen と Nanite は、シミュレーターの水中視覚的なリアリズムを大幅に向上させます。
また、Unreal Engine に直接構築された Duality AI Falcon デジタル ツイン シミュレーション プラットフォームは、Fast Company の「World Changing Ideas」賞、Product Awards の AI ＆データ部門最優秀製品賞、Robotics and Physical AI Awards のデータ エンジン＆シミュレーション部門最優秀製品賞など、数々の業界賞を受賞しています。Falcon のユーザーには、NASA-JPL、Honeywell、DARPA、Procter & Gamble などが含まれます。
PteroLabs の PteroSim は、UE5 をベースに構築された UAV フライト シミュレーターです。JSBSim 6-DOF 自由度空力特性を備え、固定翼機、マルチローター機、VTOL 機、ヘリコプターなど、100 機以上のドローンを同時に運用できます。実機と同じ MAVLink プロトコルと地上局ソフトウェアを介して、実際のオートパイロット ファームウェア (PX4、ArduPilot) をループ内で実行し、シミュレーションと実機間のシームレスな検証を可能にします。
このプラットフォームには、大気擾乱モデリング (ドライデン乱流、突風、マイクロバースト) に加え、自動テスト シナリオ用の gRPC Python API が搭載されており、機械学習 (ML) トレーニングや強化学習 (RL) ワークフローにおいて、実時間よりも大幅に高速に動作します。PteroSim は、DARPA リフト チャレンジ チームが自律型航空機の飛行前検証に使用しています。
PteroLabs の創設者である Alexander Kalmykov 氏は次のように述べています。「Unreal Engine を選んだ理由は、きわめて優れたビジュアル品質と、内部で C++ を使用しているため、妥協することなくリアルな飛行力学を再現できるからです。このエンジンはあらゆるハードウェア構成に対応しています。さらに、行き詰まったときはいつでも、UE コミュニティで解決策を得ることができました」
Courtesy of SAS Institute
インダストリー 4.0
ロボティクス工学、自動化、デジタル技術の融合であるインダストリー 4.0 は、生産変更を仮想的にテストするためにリアルタイム シミュレーションとデジタル ツインに依存しています。これにより、自動化の決定を実装前に検証することで、リスクとコストを削減できます。SAS はインダストリー 4.0 のリーダーであり、Unreal Engine の高忠実度ビジュアライゼーションと SAS AI/アナリティクス Viya を組み合わせることで、工場自動化のためのインテリジェントなデジタル ツインを構築しています。パイロット プロジェクトでは、Georgia-Pacific が Unreal Engine を搭載した SAS デジタル ツインを活用し、稼働中の工場における AGV (無人搬送車) の動き、品質管理、保守計画を可視化、最適化しています。
現代の施設は、人とロボットが共存しなければならない複雑な環境へと進化しており、安全性と効率性がきわめて重要となっています。
SAS の製造部門マーケティング マネージャー、Glynn Newby 氏は次のように述べています。「当社の戦略は、フォトリアルなシミュレーションと AI、そして高度な分析を組み合わせることで、リーダーがより高度なデジタル ツインを構築し、大規模投資を行う前に意思決定を検証できるよう支援します。合成データは Unreal Engine と SAS 間でシームレスに連携します。このアプローチは、世界中の工場における生産性、安全性、そして運用効率を大幅に向上させる可能性を秘めていると確信しています」
ロボティクス プラットフォームの進化
Unreal Engine はロボティクス プラットフォームとして設計されたものではありません。しかし、合成データの台頭、シミュレーションから実世界へのデータ転送技術の進歩、そしてフォトリアルなセンサー シミュレーションへの需要の高まりにより、Unreal Engine はロボティクス プラットフォームとしての役割を担うようになりました。インタラクティブ性を重視したリアルタイム エンジンである UE5 は、ヒューマンインザループ・シミュレーション、オペレーター トレーニング、遠隔操作インターフェース、XR 体験、デジタル ツインなど、AI 開発に使用されるのと同じランタイム環境内でさまざまな機能をサポートします。
チームは、プラットフォームを切り替えることなく、機械の自律性をプロトタイプ化し、インタラクティブなビジュアライゼーション ツールを構築し、人間と機械の相互作用に関するワークフローの実験を行うことができます。
工場内の物体検出、都市部の交差点での走行、手術中の解剖学的構造の特定など、ロボティクス モデルが実世界を正確に認識する必要のあるロボティクス チームにとって、Unreal Engine はシミュレーションでのトレーニングと実世界へのデプロイにおいて最も魅力的なプラットフォームとなっています。