Eye to Eye VR 体験では、プレイヤーは魅力的でリアルな CG のウサギと同じ目線の高さで会話できます。動物の顔の表情と会話は、アクタによってリアルタイムで処理されます。それにより、動物とプレイヤーとのリアルな会話を実現します。

表情と感情のキャプチャ
Eye to Eye VR 体験は、人間のモーションを CG の動物に適用することで実現しています。FaceWare Live が提供する高度なフェイシャル トラッキング、および Noitom の Perception Neuron スーツを介したボディ トラッキングにより、表現のあらゆるニュアンスをアクタからウサギに転送します。これをリアルタイム レンダリングの並外れた詳細度と組み合わせることで、プレイヤーにユニークな感情に訴えかける VR 体験を提供することができます。
最高品質のレンダリングとバーチャル リアリティに必要なフレームレートが要求されたことが、Demodern のチームが Unreal Engine を採用した理由の 1 つでした。
テクニカル ディレクターの Florian Wögerer 氏は「Unreal を使用すると、滑らかな動作となる 90 fps を保ちながら、視覚的忠実度を最高の状態にすることができます」と述べています。

最高のパフォーマンスを達成するために、チームは 2 台のコンピューターを使用して開発しています。1 つはモーション トラッキング タスク用で、もう 1 つは実際のレンダリング用です。後者は、2 枚の NVIDIA GTX 1080 Ti カードを備え、レンダリング方法として AFR(Alternate Frame Rendering) を使用しています。トラッキング データは、SLI(Scalable Link Interface) ブリッジを備えたクロスリンク LAN ケーブルを介してレンダリング マシンに送信されます。
ウサギのキャラクターのモデル化とテクスチャリングには、Maya、ZBrush、3ds Max、TopoGun、Mari、Substance Painter、Photoshop、Knald などの多数のパッケージが使用されました。動物の毛皮は Peregrine Labs の Yeti で作成され、Unreal Engine でのリアルタイム レンダリングには NVIDIA HairWorks が使用されています。キャラクターの完成までには約 500 時間が要されています。

HairWorks と別の NVIDIA API である VRWorks の組み込みのためには、ソース コードへの無料アクセスを利用した Unreal Engine のカスタム ビルドが作成されました。
「コード全体を利用できることは、間違いなく Unreal Engine の大きな利点の 1 つです。これにより、エンジンの特定の部分の調整と最適化が可能で、目的の品質とパフォーマンスを実現することができます」と、Demodern のシニア クリエイティブ エンジニア、Christopher Baumbach 氏は述べています。
単なるモデル以上のものを作成
環境については、Unreal Engine の 5 つの異なるワールドを概念化し、モデル化し、開発しました。理想の外観を実現するために Demodern チームが使用したのは、Unreal Engine のマテリアル エディタです。「マテリアル エディタを使うことで、シンプルなマテリアルと複雑なマテリアルを柔軟に作成できます。なので、目指していた外観を作り上げるための重要な要素の 1 つでした」とリード 3D アーティスト、Daniel Harrison は言います。
この体験の重要な要素はサウンドとなっており、それはハンブルグに拠点を置くサウンドデザイン スタジオ German Wahnsinnd によって提供されています。チームは FMOD をサウンド エンジンとして使用し、 編集は Nuendo で行われています。アクタの声は、ノイズ ゲーティング、圧縮などを可能にするビルトインのエフェクト スタックを備えた Apollo Twin オーディオ インターフェースを介して実行されています。録音済みの音声も使用されています。

プロジェクトの成功に必要なパフォーマンスと品質を達成するために、チームは多くの技術的な課題に取り組みました。最終的な状態に至るまでに、カスタム ハードウェアとエンジンのセットアップを複数回繰り返しています。このプロセスには、Unreal Engine にあるインクリメンタルな変更をビルドする機能が役に立ちました。
「変更を加えるたびに完全なビルドを作成する必要なく迅速にイテレートできるため、直面している技術的な問題に対して、様々なアプローチを検討して取り組む時間を十分に得ることができました」と Baumbach 氏は言います。
この体験は、ベルリンの re:publica '18 で開始され、他のいくつかのフェスティバルや展示会で発表されています。トラックにビルドされているため、最小限の労力であらゆる場所にすばやく移動できます。

エルベ川に深く飛び込む
Eye to Eye プロジェクトの完了後、Demodern は、ハンブルクに拠点を置く常設設備の Discovery Dock の主要な部分の 1 つに Unreal Engine を使用しました。施設の訪問者は、ハンブルクの有名な川であるエルベ川の深さをそこで最も一般的に見られる動物と共にリアリティのある外観でリアルタイムに体験することができます。
Dumont Media Group と協力し、チームはプロジェクトの最初の調査から最終展示までを 1 年以内に実現することができました。チームはハンブルクの Elbphilharmonie コンサートホール隣の空きスペースを、複合現実、投影マッピング、リアルタイム データのユニークな振り付けを採用した没入型のインタラクティブな体験に変貌させました。それにより、ハンブルクや世界中から訪れた人を港の決して立ち入れない場所へと連れて行くことができます。忘れられない体験となるでしょう。
自分でそうした素晴らしい体験を作り上げたいとお考えの方は、Unreal Engine を今すぐダウンロードしましょう。