Image courtesy of Epic Records

バーチャル コンサートの世界を熱狂させる Sony Music の「デジタル マディソン・ビアー」

Craig Laliberte |
2021年8月6日
注目を集めるポップ スターは、ソーシャル メディア、プレイリスト、ステージなどで常に目立ち続けています。しかし、パンデミックによる制限が一般的となった 1 年で、多くのアーティストが、世界中のファンにリーチするための新しい方法を見つける必要に迫られ、驚くような手段も現れました。

過去 12 か月のうちに、豪華なライブストリーミング配信やバーチャルの革新的なパフォーマンスがいろいろと行われました。なかでも、Epic Records のアーティスト、マディソン・ビアーがリリースしたものは、これまでで最もフォトリアルなミュージシャンの表現かもしれません。The Madison Beer Immersive Reality Concert Experience は、エフェクトが多用された画期的なバーチャル パフォーマンスです。TikTok LIVE でプレミア配信されたこのパフォーマンスは、YouTube や VR プラットフォームなどでも広く公開される予定です。アーティストがリアルタイム レンダリングとバーチャル プロダクションを使ってビジョンを実現しようとすると、1 つのアイデアからどれほどのことが可能になるかを示しています。

 

現実では再現できそうにない、限界に挑むこのコンサートの中心となっているのが、マディソンの極めて現実的なデジタルのアバターです。Sony Music Entertainment と Verizon がマディソンと協力し、ニューヨークの Sony Hall を等身大で再現して、マディソンのヒット曲のメドレーをメジャー アーティストに期待されるレベルの品質で上演しました。ただし、エクスペリエンスの中心となる音楽とパフォーマンス以外は完全にバーチャルです。
Image courtesy of Epic Records
オーディエンスとつながるための新しい革新的な方法を求めている、創造性の面で大胆なアーティストにとっては、これはいいことかもしれません。多くのコンサートが現実世界の制約を受けるなか、バーチャルなコンサートであれば、アーティストが望む形にすることができるので、現実で可能になるよりもずっと高いレベルでファンのエクスペリエンスを形作り、すばらしいコンセプトを実現する力をアーティストに与えることができます。The Madison Beer Immersive Reality Concert Experience は、このアイデアを実践したもので、1 つのコンテンツを複数のメディアにおよぶキャンペーンに変え、YouTube や VR などでファンを感動させることができるようにしました。 

リアリティの維持 

3D で作業をすることで、余裕が生じたとはいえ、Sony Immersive Music StudiosMagnopusGauge Theory CreativeHyperreal が率いるプロダクション チームにとっては、リアリズムの基準を維持することには依然として価値がありました。

Sony Immersive Music Studios の責任者、Brad Spahr 氏は次のように述べています。「まっさらなキャンバスに向き合った私たちのクリエイティブ面での目的は、会場とアーティストをフォトリアルに再現してバーチャルなコンサートを作り出すことでした。また、コンサートのエクスペリエンス自身を見直すために、魅力的な要素を加えるつもりでした」

Magnopus の共同創業者、Alex Henning 氏は次のように述べています。「まずは、現実のセッティングでもありえるところから取り組みます。ファンがエクスペリエンスに入り込み、エクスペリエンスを受け入れるのは、そういったところからになるからです。そのようなもっともらしい部分で引き付けることができたら、そこに空想的なものを重ねていきます。現実的な部分がしっかりしているほど、空想的な部分から驚きを引き出すことができます」

Magnopus にとっては、会場と VFX のパッケージがそれにあたり、Hyperreal にとっては、マディソン自身がそれにあたりました。
Image courtesy of Hyperreal and Epic Records
Hyperreal は、まずマディソンの顔と身体をロサンゼルスにある2つの別々の高解像度カメラシステムアレイでキャプチャしました。1つ目のシステムは顔、首、肩までの測光データを毛穴レベルまで記録しました。このようなキャプチャによってあらゆる確度からキャプチャされます。Hyperreal は、極めて現実的なアバターを作るために十分なデータを得ることができました。このアバターは「ハイパーモデル」とも呼ばれ、不気味の谷の問題を避けることができます。 
 
さらにHyperreal のリアルタイム HyperRig システムの変形の正確さを保証するために、200個のカメラで、マディソンの身体、筋肉と形状は生体力学的位置範囲として計測されました。マディソンのパフォーマンスに適した服装、髪型、イヤリングを追加してから、Hyperreal はアバターを Unreal Engine に取り込み、ロサンゼルスの PlayStation Studios でのライブ キャプチャ セッションに備えて、動きを試しました。
Image courtesy of Hyperreal and Epic Records
その間、Magnopus は会場と VFX システムの制作に取り組んでいました。ハイパーモデルと同様に、目的は、イベントをできるだけリアルなものにすることでした。そうすれば、たとえばマディソンの頭上に宇宙空間が現れたとしても、それが魔法のような驚きをもたらすことができます。
Image courtesy of Epic Records
Sony Immersive Music Studios は、会場全体を LiDAR スキャンすることを検討してから、ライティングなどをより細かく制御できるようにするために、会場をゼロから作ることを決めました。オリジナルの CAD ファイルから出発し、Autodesk Maya にインポートして、Sony Hall をユニークなものにするニュアンスを加えるなど、美術面での処理を施しました。それに基づいて、Magnopus がライティングと VFX を加え、コンサートのエクスペリエンスを見直すという全体的な目標を達成しました。

「Sony Hall は親近感を与える会場です。特徴的で手が込んだ美しい場所であり、このエクスペリエンスにとっては理想的な環境です」と Spahr 氏は述べています。

「規模のおかげで、VR にも適しています。巨大な洞窟のようなアリーナでもなければ、狭苦しいクラブでもありません。ほとんど完璧なサイズです」と Henning 氏は述べています。
Image courtesy of Epic Records
制作プロセス全体で Unreal Engine が使われることになっていたので、Magnopus は Unreal Engine に組み込まれたバーチャル スカウティング ツールを活用してカメラをセットアップしました。これによって、特殊効果を加える前にライティングをテストすることができました。しかし、最初に必要だったのはパフォーマンスでした。

音楽の分野でのバーチャル プロダクションのメリット 

全員が一か所に集まることができる通常のモーション キャプチャの撮影とは異なり、The Madison Beer Immersive Concert Experience の撮影は、アメリカ中に散らばったチームがリモートで実施しました。ロサンゼルスでは、マディソン・ビアーがモーション キャプチャ スーツとヘッドマウント カメラを身につけていました。フィラデルフィアでは、Hyperreal の CEO、Remington Scott 氏がリアルタイムで演出を行いました。Scott 氏は、VR ヘッドセットを身につけることで、仮想的な Sony Hall 内でマディソンのアバターと顔を合わせることができただけでなく、COVID-19 に伴う、距離を取ることを求める制約にも従うことができました。

Unreal Engine はリアルタイムで動作するため、バーチャル プロダクションでは、そのリモート コラボレーション ツールを使って、3D 環境を世界中のどこにでもストリーミングして、完璧に同期できます。この特性がマディソンのパフォーマンスをカットも編集もない一つの連続したテイクとして記録することを可能にしました。パフォーマンスをできる限り実際のもののようにしたいと願っていたチームにとって重要なことでした。

モーション キャプチャの撮影が終わり、エクスペリエンスに仕上げを施してから、カメラマンの Tom Glynn 氏は、最終的な 9.5 分のパフォーマンスのためにショットを選ぶことができました。

Gauge Theory Creative のマネージング ディレクターである Tom Glynn 氏は次のように述べています。「ゲーム エンジンの中のことだとは信じられない瞬間がいくつもありました。3D の世界があり、自分がカメラを動かしていると、同時にパフォーマンスが行われます。撮影中にビューファインダーで見ているものを信じるのは難しいことでした。マディソン・ビアーのアバターを見ていて、同じ部屋に立っている現実の人間のように感じられるのです。とても驚きました」
Image courtesy of Epic Records
制作チームは 2 日間で数百のテイクを撮影し、必要なショットを確実に得られるようにしました。

Spahr 氏は次のように述べています。「再生ボタンを押し、マディソンがパフォーマンスを行い、Tom がリアルタイムでショットを手に入れていきました。Tom は、自分の目の前にあるモニターで、すぐにそのショットを見ていました。それから停止して、再調整して、再生ボタンを押し、コンサートが再開され、別のショットを得ることができました。このリアルタイムのフィードバックは大きなものでした。このエクスペリエンスについて 1 つ問題があったとしたら、それは、良いショットが多過ぎてどれを使うべきかわからず、困ってしまうということでした」

Glynn 氏は、カメラマンにとって、特にコンサートの撮影ではバーチャル プロダクションが快適なものであることに驚きました。従来、ライブ パフォーマンスを撮影するには、カメラマンが 5 人から 12 人ほど必要でした。カメラマンを会場に戦略的に配置して、三脚、ドリー、ステディカムなど、さまざまな機材を使う必要がありました。チームは準備を行い、一度に撮影して、そこで手に入ったものでどうにかするしかありませんでした。今回、Glynn 氏は、携帯用リグなど同じ機材を使いましたが、仮想的な世界の内部で撮影を行ったことで、すばやい撮影が可能になりました。
Image courtesy of Hyperreal and Epic Records
また、Unreal Engine で簡単なコマンドをいくつか使うことで、Glynn 氏は現実世界での物理的な制限の一部を克服することができました。たとえば、マディソンのアイラインよりも少し高い位置や低い位置のショットが欲しいというときに、チームは環境内での Glynn 氏のサイズを 1.2 倍や 1.5 倍などに拡大し、ちょうどいい高さに持っていくことができました。あるいは、テイクに揺れを加えずにマディソンのすばやい動きに付いていきたいというとき、1 歩が 7 歩に相当するようになるまで、トランスレーションのスケールを 1.5 倍から 2 倍以上まで引き上げていきました。それで問題は解決しました。

特別な瞬間の作成 

映像が揃ったら、Magnopus が特殊効果を加えました。それは、目を引くというだけでなく、現実には不可能な効果でした。

Spahr 氏は次のように述べています。「炎の輪がマディソンを包むシーケンスや、雨粒がマディソンの周りに落ちる感動的なエクスペリエンスがあります。これらは、通常のコンサート会場では安全性の問題から許可されないでしょう。ファンが新しい形でコンサートを見られるようにしています。それを極端にすると、宇宙空間が出てきます」
Image courtesy of Epic Records
Magnopus は、すべての特殊効果とライティングのエフェクトを Unreal Engine 内で作成しました。そのために、リアルタイム レイ トレーシングを使用しました。また、曲のさまざまな部分を編集するための移動手段として、Unreal Engine に組み込まれたマルチトラック エディタ、シーケンサーのタイムライン ツールを使用しました。Magnopus は、Pixel Streaming を使うことで、アーティストが直面するハードウェアの制約を克服できました。Pixel Streaming によって Unreal Engine アプリケーションをクラウド上のサーバーで実行すると、YouTube の動画のように、あらゆるデバイスのあらゆるブラウザにストリーミングできます。

Henning 氏は次のように述べています。「リアルタイムでは、レンダリングの負荷について上限があり、それを超えることはできません。いつも対象とするデバイスの性能に縛られ、画面を適切なリフレッシュ レートで更新できるようにするために、一定レベルの品質でレンダリングできるものには限りがあります。その制限を超えることができると、アーティストにとっては魅力的です。あれかこれかと選ぶ必要がなく、両方を選ぶことができ、フォトリアルな人間をレンダリングしたい、炎も、雨も、煙も、雰囲気も、とレンダリングできます」
Image courtesy of Epic Records

1 つですべてに対応

The Madison Beer Immersive Concert Experience は TikTok LIVE でプレミア配信されましたが、より広く活用されることを意図しています。このプロジェクトはゲーム エンジンで作られているので、さまざまなチャネルのために簡単に変換できます。動画、VR、モバイル アプリケーションのためにプロダクション チームがエクスペリエンスを作り直す必要はありません。

Henning 氏は次のように述べています。「最初からリアルタイムでネイティブに作業を進めて、それがすべての成果物の中心となっていれば、どれも同じパイから切り分けているようなもので、毎回新しいパイを作る必要はありません。そうなれば、より興味深い形で物事をつなげることができ、ずっと多くのことを少ない労力で成し遂げられるようにもなります。同じセットアップを使って、VR、モバイルの AR やインタラクティブのバージョン、Pixel Streaming バージョン、YouTube や TikTok 向けに 2D で切り出した動画を作っていくことができれば、エネルギーとクリエイティビティをその世界自身のために費やすことができるようになっていきます」
Image courtesy of Epic Records
このようなすばらしいエクスペリエンスを世の中に送り出すことができても、まだ疑問は残ります。今後数年でバーチャルのコンサートはどれほど発展するのでしょうか。Spahr 氏によれば、大きな発展を遂げることになります。Spahr 氏は、新しいショーや新しい方法でデジタルのアバターを使い、音楽の新しい概念を作る大きな機会があると考えています。

「アーティストが夢見ることができるものは、どれほど空想的なものであれ、何でも現実にできます。制約を受けることはありません。物理法則、消防規則、安全のための手順に従う必要もありません。アーティストと一緒に座って、こう言うことができます。『ファンのためのエクスペリエンスを思い描いてみてください。何でもできるとしたら、どんなことをしてみたいですか』それを可能にするツールとテクノロジーが存在すると知ることが、アーティストや音楽業界にとっては最もおもしろいことでしょう」
Image courtesy of Epic Records

    Unreal Engine を今すぐ入手しましょう!

    世界で最もオープンで高度な制作プラットフォームを入手しましょう
    Unreal Engine はそのままでフル機能と完全なソースコードアクセスを提供し制作準備ができています。
    ニュース
    6月9日

    新しいリリースで Mesh to MetaHuman(メッシュからMetaHumanを作成) などが Unreal Engine に追加されます

    MetaHuman フレームワークの今回のリリースでは、MetaHuman Creator の新機能だけでなく、Unreal Engine 用の素晴らしい MetaHuman の新しいプラグイン、および Unreal Engine 5 の新しいキャラクターのリギング、アニメーション、物理機能のサポートも提供されます。
    ニュース

    新しいリリースで Mesh to MetaHuman(メッシュからMetaHumanを作成) などが Unreal Engine に追加されます

    MetaHuman フレームワークの今回のリリースでは、MetaHuman Creator の新機能だけでなく、Unreal Engine 用の素晴らしい MetaHuman の新しいプラグイン、および Unreal Engine 5 の新しいキャラクターのリギング、アニメーション、物理機能のサポートも提供されます。
    ニュース
    4月5日

    Unreal Engine 5 がリリースされました!

    このリリースは、大規模チームでも小規模チームであっても、ビジュアル面でもインタラクティブ面においても可能性の限界に挑戦できるようにすることを目指しています。UE5 はゲーム開発者、そしてあらゆる業界のクリエイターに力を与え、次世代のリアルタイム 3D コンテンツや体験をこれまで以上に自由に、高忠実度で、柔軟に作成できるようにします。
    ニュース

    Unreal Engine 5 がリリースされました!

    このリリースは、大規模チームでも小規模チームであっても、ビジュアル面でもインタラクティブ面においても可能性の限界に挑戦できるようにすることを目指しています。UE5 はゲーム開発者、そしてあらゆる業界のクリエイターに力を与え、次世代のリアルタイム 3D コンテンツや体験をこれまで以上に自由に、高忠実度で、柔軟に作成できるようにします。
    イベント
    4月26日

    毎日課題をこなすとアンリアルエンジンでゲームができちゃう! 「アンリアルクエスト3 ~グレイマンとつくる5つのショー~」 5月23日(月)~5月28日(土)開催決定!参加方法・配信タイムテーブル公開

    アンリアルフェスとUE4ぷちコンでお馴染みヒストリアがコラボ!UNREAL FEST EXTREME 2022 SUMMER ユーザー参加型企画「アンリアルクエスト3 ~グレイマンとつくる5つのショー~」を開催します!
    イベント

    毎日課題をこなすとアンリアルエンジンでゲームができちゃう! 「アンリアルクエスト3 ~グレイマンとつくる5つのショー~」 5月23日(月)~5月28日(土)開催決定!参加方法・配信タイムテーブル公開

    アンリアルフェスとUE4ぷちコンでお馴染みヒストリアがコラボ!UNREAL FEST EXTREME 2022 SUMMER ユーザー参加型企画「アンリアルクエスト3 ~グレイマンとつくる5つのショー~」を開催します!