2019年4月3日
バーチャル プロダクション：The Future Group が XR の限界を追求
今回のポッドキャストでは、The Future Group の最高クリエイティブ責任者、Øystein Larsen 氏をお迎えしました。クロス リアリティのライブ パフォーマンスの制作における課題と、Larsen 氏と The Future Group のチームが限界に挑み不可能を可能にすることへとつながったこの技術への関心について、お話を伺っています。
クロス リアリティ (XR) は、仮想現実 (VR)、複合現実 (MR)、拡張現実 (AR) を包含する概念です。The Future Group は、XR を構成する各技術に取り組んでいます。そのおかげで、各技術を容易に行き来することができ、革新的なプロジェクトを現実のものにしています。そのようなプロジェクトには、The Weather Channel による、環境危機を扱ったシリーズ Lost in Time や、2018 年の League of Legends World Championship の開会式における、ゲームのキャラクターによるステージでのライブ パフォーマンスなどがあります。
The Future Group は、ノルウェーで 2017 年に放送された Lost in Time シリーズで XR に初めて取り組みました。この番組では、ジュラ紀、1920 年代のニューヨーク、氷河時代などさまざまな時代にわたる仮想的な世界で、参加者たちが課題への取り組みを競い合いました。Lost in Time はグリーン スクリーンのスタジオで撮影され、課題を完了する間、参加者たちはリアルタイムで環境に合成されます。
参加者たちはリアルタイムで環境内を移動し、環境とやり取りすることができるのです。The Future Group がグラフィックスを強化してから、各エピソードは数か月後に放送されました。Larsen 氏は次のように述べています。「番組を公開する前に、さらに手を加えたいと考えました。すべての画像が Unreal Engine で出力され、さらに高品質なものになりました。4K の RAW リニア ファイルにレンダリングして、それを 3 台の Flame マシンに送り、そのマシンですべてを合成しました。ですから、作業自体は従来のポストプロセスによるものでしたが、4K で毎分 1,000 フレームを出力できるようなセットアップになっていました」
Lost in Time は、かつてないほどのイマーシブな演劇としての部分と、家庭の視聴者が放送中にモバイル デバイスから競争に参加できるゲームの部分の両方で、世界中から注目を集めました。それが 1 年半前のことで、それ以来、The Future Group はクロス リアリティ放送の限界をさらに押し広げようとしています。
2018 年には、The Weather Channel の生放送シリーズに取りかかりました。このシリーズでは、プレゼンターの背後にリアルタイムでプロジェクションし、前面での MR のアクションと組み合わせました。The Weather Channel のシリーズでは、倒れる電柱、墜落する自動車、雷、炎、洪水による水位の上昇など、リアルタイムの 3D の要素に加えて、それらの天候の危険を伝える情報をポップアップ表示しました。 それらのビデオにおける The Future Group にとっての課題は、プロジェクトの計算上の負荷が重くなりすぎないようにしつつ気候現象を見せることでした。Larsen 氏は次のように述べています。「同じことを説明するために、エンジン内で工夫する方法を見つけようといつも努力しています。私たちのチームには、ゲームの分野に 20 年携わって多くの経験を積み、リアルタイム環境でのコツや秘訣を知っているゲーム アーティストが数人います」
クロス リアリティ K-POP
The Future Group による最も見応えにあるプロジェクトの 1 つに、Riot Games によって韓国の仁川で開催された、2018 年の League of Legends World Championship の開会式が挙げられます。シンガーとダンサーが数千人の観客の前ですばらしいライブ パフォーマンスを見せると同時に、ステージの巨大なモニターでは、ゲームに登場する K-POP グループ K/DA のバーチャルなメンバーが拡張現実によって加えられていました。現地の観衆に加えて、9,000 万人以上がオンラインで視聴しました。 ステージで K/DA のヒット曲 Pop/Stars が演奏される間、ライブ カメラが動き回り、League of Legends のキャラクターたちが生身のパフォーマーたちのすぐ側で完璧に同期して歌ったり踊ったりしているように見せました。ゲームのキャラクターたちは、飛んだり炎を放ったり、ユニークなスキンや能力を見せつけました。
本物のように見せるのに役立ったのは、キャラクターのリアルな影や、ステージの光沢のある床での反射でした。影や反射は、動き回るカメラからのトラッキング データに基づいてリアルタイムでレンダリングされました。Larsen 氏の推定によると、Unreal Engine はパフォーマンス中に毎秒 3,000 万ポリゴンをレンダリングしていました。Larsen 氏のチームは、平面反射を利用しました。スクリーンスペース反射のほうが計算上の負荷が小さいにもかかわらず平面反射を選んだのは、「単純にそちらのほうがずっとよかったから」だと Larsen 氏は述べています。
ライブ カメラのトラッキング データと映像、更新されたカメラのビュー、Unreal Engine でのレンダリングなど、パイプラインを通じて送られてくるすべてのデータと、ステージ上のスクリーンへのプロジェクションを使った拡張現実のパフォーマンスは、驚くべきことに毎秒 59.94 フレームでレンダリングされました。また、ライブ ステージのショーからわずか 6 フレーム遅れでプロジェクションされました。
それは Larsen 氏にとっては珍しいことではなく、リアルタイム テクノロジーを使ってすばらしいショーを作り出す方法の 1 つに過ぎない「ごく普通の」セットアップだとのことです。Digital Domain による FACS ベースのリグと、ミュージック ビデオでのダンスのシーケンスを使い、Larsen 氏のチームは韓国の現場で 5 日間かけてすべてのデータを連携させました。
元々の計画では、ライティングの変更は AR の場面だけに限られるはずでしたが、Larsen 氏は実験せずにはいられませんでした。「挑戦して、少しレベルを上げるようにするのはいいことです。そこに少し手をかけてみることにしました」と Larsen 氏は述べています。
クロス リアリティの進化
これまで紹介した代表的なクロス リアリティ エクスペリエンスを作成する過程で、The Future Group は、Unreal Engine 上で動作するカスタムのツールを開発しました。現在、そのツールは Pixotope という名前のスイートとして提供されています。 Pixotope は、映画のような高品質のクロス リアリティ コンテンツの開発を簡素化することを目的に設計されています。Unreal Engine と Pixotope を組み合わせると、デザイナーはバーチャル セットをすぐに作成できます。また、テレインやフォリッジを使ってコンテンツを拡張し、パーティクル システムを利用し、レンズの歪みや被写界深度など、カメラとレンズの特性をシミュレーションできます。
The Future Group 自体も拡大しています。米国に新しいオフィスを解説し、今後もさまざまなプロジェクトが計画されています。テクノロジーの境界を広げ続ける一方で、Larsen 氏は、色補正やシャドウの改善など、クロス リアリティ エクスペリエンス向けのツールが発展しているのは美意識のおかげであって、ツールが美意識を発展させるのではないと指摘します。Larsen 氏は次のように述べています。「リアルタイム エンジンを使ったことがあれば、それは明らかにプラスになります。ですが、私たちはアートを作っているのです」
独自の XR エクスペリエンスの作成に興味をお持ちですか？Unreal Engine をダウンロードして、この新しい分野への第一歩を踏み出しましょう。