July 30, 2018

Comic-Con 2018 での Teenage Mutant Ninja Turtles への VR インタビューをアンリアル エンジンが実現

作成 Daniel Kayser

Nickelodeon は、San Diego Comic-Con 2018 で、「Rise of the Teenage Mutant Ninja Turtles VR Interview Experience」を初めて公開しました。このエクスペリエンスでは、ユーザーが Teenage Mutant Ninja Turtles の世界に入り込み、Rise of the Teenage Mutant Ninja Turtles の出演者を相手に VR 内でライブ インタビューを実施できます。このユニークなインタビューでは、ユーザーが Mikey または Donnie と会話できます。シリーズでそれぞれのキャラクターの声優を務める、Brandon Mychal Smith 氏と Josh Brener 氏によって、その場で声が当てられます。Nickelodeon のエンターテイメント ラボ部門のシニア バイス プレジデント、Chris Young 氏にお話を伺いました。

rtmnt_img7.jpg

Comic-Con で、Teenage Mutant Ninja Turtles のプレス向けの催しに VR を使うという発想は、どこから出たのですか?

このアイデアは、NAB がラスベガスで開催されたときに、エピック ゲームズ、Adobe、NewTek と行ったミーティングが元になったものです。NewTek の NDI テクノロジーを使用して Adobe Character Animator からアンリアル エンジン 4 にストリーミングするためのパイプラインを作成し、ゲーム エンジン内でリアルタイムのアニメーションを利用しようとしていました。近くに寄って体感してもらうために VR を選ぶのは、自然な成り行きでした。

タートルズの Mikey(Michelangelo)と Donnie(Donatello)との VR でのリアルタイムの双方向の会話をどうやって考え出したのですか?

私たちは、リアルタイムのパペット操作について多くの調査を行ったことがあったほか、全身と表情のパフォーマンス キャプチャとアンリアルへのストリーミングについても調査したことがありました。次にタートルズで何か面白いことをやる時には、リアルタイムのエクスペリエンスでジャーナリストがキャラクターと直接話すことができるようにすれば、革新的なアプローチになると考えていました。

リアルタイムのエクスペリエンスにはモーション キャプチャを利用していますか?

新しいシリーズ、Rise of the Teenage Mutant Ninja Turtles では、タートルズは 2D のスタイルでデザインされているので、アニメーションの処理には Adobe Character Animator を利用しています。そのため、デザインを適用したキャラクターのリグをモデルに基づいて制作し、番組内で実際に使用したポーズとサイクルを利用できました。いくつかのプロジェクトを通じて、モーション キャプチャのデータは大量に保有しています。それらのプロジェクトでは、従来の方法でパフォーマンス キャプチャを行い、アンリアル エンジン 4 にストリーミングするパイプラインを利用しています。

rtmnt_image01.jpg

最初の CG と環境のアセットの作成から、最終的に作成されるインタビューに至るまでのワークフロー(ハードウェア、ソフトウェア、ヘッドセット、キャプチャ)について教えてください。

この VR エクスペリエンスは、アンリアル エンジンを使用して開発されました。ゲーム エンジンで開発したおかげで、リアルタイムのインタラクションと対話を作成することが可能になりました。NewTek の NDI テクノロジーを使用して、Mikey と Donnie のパペットをストリーミングしています。NDI では、共有ネットワークで大容量のビデオ ファイルをストリーミングできます。Mikey と Donnie のパペットは、Adobe Character Animator で作成され、リアルタイムで動かされています。MIDI キーボードにアニメーションのサイクルをマッピングして、Mikey と Donnie にさまざまなポーズをとらせるようにしています。インタビュー中に、これらの MIDI キーボードをリアルタイムで操作します。NDI によって、パペットを Adobe Character Animator からストリーミングして、ほかのマシンが受信し、リアルタイムのアニメーションをエクスペリエンスと合成のために使用します。

rtmnt_img10.jpg
Nickelodeon の Rise of the Teenage Mutant Ninja Turtles VR Interview Experience での Mikey と Donnie

ユーザーがグリーン スクリーンの前に立つと、ニューヨークのビルの屋上に合成され、頭は Nickelodeon のキャラクターのアバターになります。VR のプレイヤーのためにパフォーマンスを維持して高品質で出力するために、エクスペリエンスの観客向けバージョンをネットワーク上に用意して、合成を行いました。観客向けバージョンは、フォアグラウンドとバックグラウンドのレイヤーを分離します。これらのレイヤーは NDI を介してピックアップされます。レイヤーは、Resolume に表示され、ライブ アクションの映像とリアルタイムで合成されます。最終的な合成の結果を NDI を介して Resolume から送ります。

ライブ アクションの映像、VR のプレイヤーの視点、2 人のタートルのクローズアップ ショットとワイドアングル ショット、これらすべてを TriCaster で録画します。TriCaster を使用することで、インタビュー中、リアルタイムに編集できました。また、インタビューの終了時に、ジャーナリストに ISO レコードと編集の最終結果を USB ドライブで渡すことができました。

バックグラウンド エレメントには 2D プレーン、フォアグラウンド エレメントには CG メッシュを使用して、VR のプレイヤーに適切な眺めを提供できるようにしました。3D 空間で 2D 風の外見を再現するために、変形したメッシュを Maya からアンリアル エンジン 4 に取り入れるワークフローを採用し、手書き風のスタイルの環境に合わせた雰囲気の眺めをキャプチャできるようにしました。Maya では、VR のプレイヤーの視点に基づいてバックグラウンドのジオメトリにプレーンを投影し、番組で実際に使用されている Photoshop のブラシを使用して、その平面の UV にテクスチャをペイントしました。こうすることで、手書き風にペイントされたバックグラウンドを完璧にキャプチャできました。

このエクスペリエンスでは、IMAX VR センターのために Nickelodeon が作成したエクスペリエンスと同様のテクノロジーを使用したのですか? この Comic-Con でのエクスペリエンスでは、IMAX VR センターで使用したテクノロジーをどのように発展させましたか?

VR のポーンと VoIP を処理するためのコードの多くと、SlimeZone VR のために作成した CG アバターのアセットの一部を、このエクスペリエンスで活用できました。

このエクスペリエンスを開発するにあたってアンリアル エンジンを選んだのはなぜですか?

これまで、アンリアル エンジン 4 を利用して、プロトタイプから始めて完全に動作するビルドまでスムーズに辿り着けた経験が何度もありました。アンリアル エンジン 4 で VR エクスペリエンスを作成するなかで獲得してきた知識と、ブループリントでアイデアのモックアップを作成する能力を組み合わせると、スピーディなイテレーションが可能になり、クールなものを産み出すことに集中できるようになります。

rtmnt_image02.jpg

アンリアル エンジンのどのバージョンを使用しましたか? また、アンリアル エンジンの機能のなかで、よく使っていて、気に入っているものはありますか?

アンリアル エンジン 4.19 を使用しました。実験的な開発を行うことが多く、開発サイクルは短い傾向があるので、私たちはエンジンを最新バージョンに積極的にアップデートしています。ビデオをアンリアル エンジン 4 のマテリアルにストリーミングするために、アルファをサポートする NewTek の NDI プラグインをよく利用しました。

シリーズのアニメーターは Comic-Con での VR インタビューのクリエイターと協力していたのですか?

VR のクリエイターとアニメーション チームの双方と緊密に協力し、番組の雰囲気とアニメーションのスタイルを VR エクスペリエンスに取り込みました。2D のスタイルを VR に取り入れるために、特に注意を払いました。

最大の課題は何でしたか?

リアルタイムのエクスペリエンスで、音声、ビデオ、ゲームのソースを同期するために、複数のマシンが互いにデータを送受信する必要がありました。設備はバーバンクにあるスタジオからトラックで持ち込みました。環境を Comic-Con の現場で再構築するために、多くの準備が必要でした。

その場でリアルタイムでの更新が必要な VR エクスペリエンスをデザインするうえで、プロダクションについてはどのようなことを考慮する必要がありますか?

このエクスペリエンスは、アニメーション、ゲーム開発、ライブ アクションのパフォーマー、パペットの操作者、バーチャル シネマ フォトグラフィーのテクニックを、ライブ放送されるセッティングの現場で組み合わせる、というものでした。すべてを 1 つに組み合わせるという、今までにやったことのない取り組みでした。