Image courtesy of All of it Now
BTS と Coldplay による My Universe のライブ ホログラム パフォーマンスの舞台裏
2022年3月15日
Coldplay と BTS の最近のシングル、My Universe のミュージック ビデオには大きな宇宙船や踊る宇宙人が登場し、世界的に有名な 2 つのバンドを見応えのある形でつなげています。これは歴史的な出来事でした。というのは、この 2 組のスターの共同名義による初めてのシングルがアメリカのチャートで 1 位を獲得したからというだけではなく、舞台裏では 5 つの VFX スタジオがボリューメトリック ビデオを使って作業を行っていたからです。このテクノロジーはエンターテインメントの作り方を変える可能性を秘めています。
Ingenuity Studios が中心となり、108 台のカメラによる 360 度のボリューメトリック キャプチャ リグを使って、パフォーマンス中のシンガー 1 人 1 人をあらゆる角度から録画しました。ボリューメトリック キャプチャを使うことで、2 つの人気グループのメンバーそれぞれを平らな画像ではなくホログラムに似たボリュームとして記録できました。また、BTS は韓国、Coldplay はスペインでグリーン スクリーンを使って撮影しましたが、ビデオでは Coldplay と BTS の両者が一緒に歌うことができました。各シンガーのボリューメトリック レコーディングはあらゆる角度で合成でき、どの角度でも深度、色、ライティングがリアルになりました。
そうやって印象的なものができあがりましたが、それからロサンゼルスを拠点とするクリエイティブ エージェンシー、All of it Now がキャンペーンに参加し、Coldplay のクリエイティブ チームと協力してコンセプトをさらに発展させていきました。
All of it Now の CEO 兼共同創業者、Danny Firpo 氏は次のように述べています。「ホログラムを現実の世界に持ってきたいと考えていたのですが、それにはイベントが必要でした。調査した結果、NBC の The Voice なら、2 つのグループのパフォーマンスを完全に同期させるために必要なインフラストラクチャがすべてそろっていることがわかりました」
Ingenuity Studios が中心となり、108 台のカメラによる 360 度のボリューメトリック キャプチャ リグを使って、パフォーマンス中のシンガー 1 人 1 人をあらゆる角度から録画しました。ボリューメトリック キャプチャを使うことで、2 つの人気グループのメンバーそれぞれを平らな画像ではなくホログラムに似たボリュームとして記録できました。また、BTS は韓国、Coldplay はスペインでグリーン スクリーンを使って撮影しましたが、ビデオでは Coldplay と BTS の両者が一緒に歌うことができました。各シンガーのボリューメトリック レコーディングはあらゆる角度で合成でき、どの角度でも深度、色、ライティングがリアルになりました。
そうやって印象的なものができあがりましたが、それからロサンゼルスを拠点とするクリエイティブ エージェンシー、All of it Now がキャンペーンに参加し、Coldplay のクリエイティブ チームと協力してコンセプトをさらに発展させていきました。
All of it Now の CEO 兼共同創業者、Danny Firpo 氏は次のように述べています。「ホログラムを現実の世界に持ってきたいと考えていたのですが、それにはイベントが必要でした。調査した結果、NBC の The Voice なら、2 つのグループのパフォーマンスを完全に同期させるために必要なインフラストラクチャがすべてそろっていることがわかりました」
Image courtesy of All of it Now
従来のホログラムとボリューメトリック ビデオの比較
そのような野心的なアイデアを実現するための第一歩は、リアルタイム プロダクションをパイプラインに組み込むことでした。All of it Now のエグゼクティブ プロデューサー、Nicole Plaza 氏は次のように述べています。「Digital Domain が角度を付けたガラスを使って作った有名な Tupac のホログラムのように、従来のプロジェクションで BTS をステージに登場させることもできましたが、今回は従来のアプローチではうまくいかないとわかっていました。実装の時間とコスト、そして見る角度が限られていたので、従来の方法では Unreal Engine を使う場合と比べて柔軟性に乏しく魅力的でなくなったはずです」Dimension Studio のボリューメトリック キャプチャ データを Unreal Engine に送ることで、物理的なステージの制約に応じて AR のパフォーマーの位置とタイミングをすぐ簡単に調整できました。このスピードと俊敏性がプロダクションのために不可欠でした。このように、ほぼ瞬時に変更を加えることは、Hologauze のスクリーンとペッパーズ ゴースト メソッドではほとんど不可能です。
Image courtesy of All of it Now
リアルタイムのワークフローを使うことで、チームがパフォーマンス全体のカメラのブロッキングを Unreal Engine で行うこともできました。これによって、バンドは各ショットのペースを確認できました。それだけでなく、プロダクション チームはそれぞれのカメラの位置から十分な被写域を確保できているかを確認でき、撮影にどのカメラとレンズが必要になるか判断できました。
All of it Now のバーチャル プロダクション スーパーバイザー、Berto Mora 氏は次のように述べています。「元々はカメラを 4 台使う予定でしたが、リアルタイムで実現できる品質のレベルを確認するとすぐに、The Voice と Coldplay のチームは、7 台のカメラを使うことで全体的なプロダクション バリューをさらに向上させることができるという点に合意しました」
All of it Now のバーチャル プロダクション スーパーバイザー、Berto Mora 氏は次のように述べています。「元々はカメラを 4 台使う予定でしたが、リアルタイムで実現できる品質のレベルを確認するとすぐに、The Voice と Coldplay のチームは、7 台のカメラを使うことで全体的なプロダクション バリューをさらに向上させることができるという点に合意しました」
アイデアをステージで実現
プロダクションが始まってからは、My Universe のビデオの撮影でキャプチャした、オリジナルの BTS のボリューメトリック映像の 7 つのフィードの合成と再生に Unreal Engine が使われました。「7 人のパフォーマー全員について 360 度をしっかりカバーできているとわかっていたので、実現できるショットの幅が広がりました。カメラごとに専用のサーバーがあったので、ディレクターはすべてのフィードを並行して確認し、AR による BTS のメンバーが実際の Coldplay と同じステージに立っているかのように番組を編集できました」と Mora 氏は述べています。
Image courtesy of All of it Now
BTS のパフォーマーがリアルタイムでステージに現れたりステージから消えたりするよう切り替えるために、Unreal Engine でフレネル エフェクトとシーケンサーを使って「グリッチ」エフェクトを作成しました。こうすれば、パフォーマーがホログラムであることが視聴者に直ちにわかります。ミュージック ビデオを観たファンはこのルックに見覚えがあるかもしれません。ミュージック ビデオでは、宇宙空間を「送信」されるデータに対して、私たちがホログラフィック データから連想する不完全であるという特性を与えるために、同様のエフェクトが使われていました。
Image courtesy of All of it Now
次に、Stype の Stypeland プラグインを使って、カメラのトラッキングとレンズの歪みのデータが取り込まれました。これは Live Link で記録されたので、各パフォーマーのソロの部分について選択したセグメントを再レンダリングし、ポスト プロセスでフレーム レベルの調整を行い、特定のパフォーマーの口の動きを合わせることができました。一方、ステージでは、All of it Now のチームが受賞歴のあるデザイナー Sooner Routhier 氏と協力し、特別なフロア ライトを使って、どの AR のパフォーマーがいつステージに立っているのか Coldplay のメンバーにわかるようにしました。
そうした課題に対処した甲斐は十分にありました。ボリューメトリック キャプチャ データを使うことで、特定のショットをポスト プロセスで再合成することも可能でした。これは、パイプライン全体が常にリアルタイムのパフォーマンスと再生を目的に設計されていたおかげで簡単になっていました。Mora 氏は次のように述べています。「各ビデオ ファイルは Atomos Shogun から再生され、オーディオとビデオがオンサイトのプロダクションで使われるものと同じサーバーに送られました。実質的に、オンサイトでのライブのシナリオをそのまま再現しているようなものでした」
All of it Now のリード UE アーティスト、Jeffrey Hepburn 氏は次のように述べています。「このやり方で、同期の軽微な問題を解決したり、グリッチのキーフレームを修正して各ショットのグリッチ エフェクトを増やしたり減らしたりすることができました。また、カスタムのパイプライン ツールも使っていました。そのツールでタイムコードの範囲を読み取り、記録されたトラッキング データを含むテイクを探して、ポスト プロセスで修正する各ショットに必要なトラッキング データだけを含む新しいシーケンスを作成しました。適切なフレーム範囲のテイクを手作業で特定するのに比べると時間を節約でき、ポスト プロセスで求められる処理時間の短縮に役立ちました」
The Voice が放送されるまでに、All of it Now のチームは成果にとても満足しました。現在は、Arcturus Holosuite を使ったボリューメトリック ビデオのその他の用途に対する同様のパイプラインについて調査しています。Arcturus Holosuite は、トラッキング対象の特定のカメラを追うようにパフォーマーの頭の位置を変えることができます。話を聞くかぎりでは、何をするにしても Unreal Engine を使い続けることになりそうです。
リアルタイム テクノロジーのメリット
革新的なワークフローならどれでもそうであるように、ボリューメトリック ビデオを使用するにはいくつか課題もありました。ある時点では、All of it Now のチームは Microsoft と協力してプラグインのコードを書き換えたことすらありました。それは、Microsoft の SVF プラグインを使って特殊な MP4 としてエクスポートされた BTS のパフォーマーのアセットを Coldplay と完全に同期させ続けるためでした。そうした課題に対処した甲斐は十分にありました。ボリューメトリック キャプチャ データを使うことで、特定のショットをポスト プロセスで再合成することも可能でした。これは、パイプライン全体が常にリアルタイムのパフォーマンスと再生を目的に設計されていたおかげで簡単になっていました。Mora 氏は次のように述べています。「各ビデオ ファイルは Atomos Shogun から再生され、オーディオとビデオがオンサイトのプロダクションで使われるものと同じサーバーに送られました。実質的に、オンサイトでのライブのシナリオをそのまま再現しているようなものでした」
All of it Now のリード UE アーティスト、Jeffrey Hepburn 氏は次のように述べています。「このやり方で、同期の軽微な問題を解決したり、グリッチのキーフレームを修正して各ショットのグリッチ エフェクトを増やしたり減らしたりすることができました。また、カスタムのパイプライン ツールも使っていました。そのツールでタイムコードの範囲を読み取り、記録されたトラッキング データを含むテイクを探して、ポスト プロセスで修正する各ショットに必要なトラッキング データだけを含む新しいシーケンスを作成しました。適切なフレーム範囲のテイクを手作業で特定するのに比べると時間を節約でき、ポスト プロセスで求められる処理時間の短縮に役立ちました」
The Voice が放送されるまでに、All of it Now のチームは成果にとても満足しました。現在は、Arcturus Holosuite を使ったボリューメトリック ビデオのその他の用途に対する同様のパイプラインについて調査しています。Arcturus Holosuite は、トラッキング対象の特定のカメラを追うようにパフォーマーの頭の位置を変えることができます。話を聞くかぎりでは、何をするにしても Unreal Engine を使い続けることになりそうです。
Image courtesy of All of it Now
Firpo 氏は次のように述べています。「Unreal Engine はこのプロジェクトのすべての段階で期待に応えてくれました。このプロジェクトはボリューメトリック レコーディングのマイルストーンとなっただけでなく、複合現実とメタバース、両方の応用例として刺激的な前例となりました」
Firpo 氏はボリューメトリック ビデオのリアルタイム再生を使うメリットを複数挙げています。たとえば、3D のキャラクターのデザイン、リギング、アニメーションのパイプラインの詳細に触れることなく、表情、ワードローブの要素、指の動きを精密にキャプチャできます。
Firpo 氏は、このテクノロジーはこれまでと違うワークフローを探るすばらしい機会をもたらし、同時に「不気味の谷」の問題を回避することもできると言います。
「ボリューメトリック ビデオのリアルタイム再生は大きな可能性をもたらします。一度記録したアセットを複数の用途で再利用できることがわかると、新しい大きなことを考え続けているアーティストにとっては期待がふくらみます。ボリューメトリック ビデオは、そうしたアーティストたちを面白い方向へと導くことになるでしょう」
Firpo 氏はボリューメトリック ビデオのリアルタイム再生を使うメリットを複数挙げています。たとえば、3D のキャラクターのデザイン、リギング、アニメーションのパイプラインの詳細に触れることなく、表情、ワードローブの要素、指の動きを精密にキャプチャできます。
Firpo 氏は、このテクノロジーはこれまでと違うワークフローを探るすばらしい機会をもたらし、同時に「不気味の谷」の問題を回避することもできると言います。
「ボリューメトリック ビデオのリアルタイム再生は大きな可能性をもたらします。一度記録したアセットを複数の用途で再利用できることがわかると、新しい大きなことを考え続けているアーティストにとっては期待がふくらみます。ボリューメトリック ビデオは、そうしたアーティストたちを面白い方向へと導くことになるでしょう」
Image courtesy of All of it Now
左から右に：Danny Firpo 氏、Nicole Plaza 氏、Preston Altree 氏、Berto Mora 氏、Jeffrey Hepburn 氏、Neil Carman 氏
今すぐ Unreal Engine を入手しましょう。
世界で最もオープンで高度な制作ツールを手に入れましょう。
Unreal Engine は、すべての機能がすぐに使える状態で、すべてのソース コードにアクセスできます。
Unreal Engine は、すべての機能がすぐに使える状態で、すべてのソース コードにアクセスできます。