XR のすべての開発者による取り組みをサポートするために、アンリアル エンジン 4 内の仮想空間に現実のビデオを合成するソリューションの開発を続けています。アンリアル エンジン 4.20 でベータ機能として追加された Mixed Reality Capture(MRC)は、自分自身(またはトラッキングされているオブジェクト)を仮想的なエクスペリエンスに投影するために必要なツールを提供します。

Robo Recall でドローンを使ってロボットに向けてレーザーを発射しています。
セットアップのために
キャプチャのためのスペースはごく簡単にセットアップできますが、その前に現実世界でいくつかのものを準備する必要があります。Robo Recall のレコーディングでは、2 台の三脚の間に垂らしたグリーン スクリーン、固定したカメラ、カメラからの映像をキャプチャするデバイス、Oculus Sensor 3 つ、Oculus Rift、操作用の Oculus Touch コントローラを使用しました。

環境をセットアップしたら、キャリブレーション用アプリを使って、仮想世界と現実世界のオブジェクトを対象に空間のマッピングを行います。

すべてを適切にキャリブレーションできたら、ゲームをプレイし、お好みのスクリーン レコーディング ソフトウェア(Robo Recall のレコーディングでは OBS を使用)を使用して、合成したビデオを録画できます。
ヒント:何をどのようにレンダリングするか、Mixed Reality Capture でキャプチャしながらいろいろと試し、あなたのプロジェクトに最も適した表現を見つけ出しましょう。この例では、背中側のホルスターの銃がレンダリングされておらず、手のモデルが隠されている点に注目してください。レコーディングの際にこれらを消したのは、見る人ではなくプレイヤーのエクスペリエンスに合わせて大きさと場所が調整されているため、そのままではしっくりこなかったからです。ほかの機能を試す時と同じように、テストを行い、繰り返し確認しましょう。

詳細情報
サポート対象デバイスのキャリブレーション方法やユーザーを仮想環境に合成する方法など、Mixed Reality Capture 機能の利用法の詳細については、ベータでご利用いただける MRC の開発ドキュメントをご覧ください。イマーシブなエクスペリエンスの開発に、ぜひお役立てください。
ご利用のビデオ キャプチャ デバイスが掲載されていない場合があるかもしれません。システムをモジュール式で開発し、新しいキャプチャ方法を取り入れやすくしてあります。ビデオ キャプチャ ソリューションを新たに連携させることに関心をお持ちの場合は、アンリアル エンジンの Media モジュールをご覧いただき、実装が必要なインターフェイスをご確認ください。現在、私たちは、再生のために WmfMedia モジュールを使用しています。
みなさまがこの機能を活用し、プロジェクトに新しい手法を取り入れていただくことを楽しみにしています。また、ツールに対するフィードバックもお待ちしています。フォーラムでの MRC へのフィードバック スレッドに、ぜひご意見をお寄せください。