バーモント州の人気の高いジャム バンド Phish は、セットリストを決して繰り返さないことで有名です。このバンドがコンサートでアドリブ演奏をすると、アルバムの曲が新しいものに進化していきます。

このバンドがラスベガスのスフィアで 4 夜公演を成功させたとき、彼らのショーは予想したとおり、これまでに見たことのないようなものになりました。

スフィアは、観客を包み込む高さ 250 フィートの巨大な LED スクリーンを備えた最先端の会場です。この壮大な音楽の舞台にインスパイアされ、バンドとクリエイティブ スタジオの勇敢なクルーは、世界最大で最も没入感のあるデジタル体験を生み出すというミッションに乗り出しました。

Moment Factory は、Phish、共同制作兼ショー ディレクターの Abigail Rosen Holmes 氏、照明デザイナーの Chris Kuroda 氏とコラボレーションしてショーを制作し、ステージのデザインとコンテンツ制作に貢献しました。チームは世界最大のスクリーンを活用して、リアルタイム生成ビデオ コンテンツに未来志向のアプローチを導入しました。

しかしながら、これは、非常に大きなスクリーンで素晴らしいビジュアルを実現しただけではありませんでした。

スクリーンの大きさだけでなく、必要なコンテンツの量 (それぞれ異なるビジュアルを備えた 4 本 の 4 時間のショー) も大規模なものでした。

Moment Factory の CG スーパーバイザーである Zane Kozak 氏は、チームがこのような大規模なフォーマットを実現するには通常長い準備期間が必要になると指摘しています。「すべての準備、すべての計画の調整、400 TB のコンテンツをどのように転送するかの決定には、少なくとも 6 か月から 1 年かかります」と、彼は説明します。「しかし、私たちは 3 か月で準備しました」

16K スクリーン用にすべてを事前にレンダリングすることは不可能でした。データ フットプリントが膨大になり、処理にかなり時間がかかるためです。「しかし、これではバンドの演奏を追いかけるという目的が達成されないことになります」と、Galarneau 氏は語ります。「Unreal Engine は、巨大な会場でバンドとともにビジュアルを生成するための主要なツールでした」

ステージ上でのライブ映像のインタラクティブ性には当然リアルタイム エンジンの使用が必要でしたが、クリエイティブなアイデアを模索したり、会場でどのように見えるかをプレビジュアライズしたりする際にもリアルタイムであることが命綱になったと、Galarneau 氏は指摘しています。

Moment Factory では、何年も VR のプレビジュアライゼーションに Unreal Engine を使用してきました。彼らは会場のデジタル版を作成し、それを使用して特定の場所の問題や課題を評価し、現場に到着する前に解決しました。

このプロセスはスフィア プロジェクトで非常に重要で、スフィアの巨大なスクリーンに投影することで発生するスケールやアニメーションのタイミングに関する潜在的な問題をチームはすぐに見つけ出し、必要な調整を行うことができました。

「事前にレンダリングされたコンテンツに、大きな変更はもちろん、いかなる変更を加えることも不可能でした」と、Kozak 氏は語ります。 「Unreal では、微調整や変更を自由に行うことができ、アート ディレクターのメモに合わせて調整したり、よりコンテキストに沿った空間で作業したりすることができました」

最初、ショーのさまざまなビジュアルを事前にレンダリングしようとしたとき、そのビジュアルが今まで経験したことがないほど重いことが、すぐにわかりました。「あらゆるもののダウンロードに何時間も、何週間も、何日もかかるのです」と、Galarneau 氏は語ります。

その一方で、Unreal Engine で作業すると、チームはビルドに変更を加えた後、すぐにスフィアのスクリーンで確認できました。

「プラグアンドプレイで使用でき、すぐにイテレートしてバリエーションを確認することができました」と、Galarneau 氏は語ります。「スフィアの地下からスクリーンまで到着するのに、数分かかります。シーンを更新するよりも移動する方が時間がかかるのです」

即座に変更を加えることができるため、チームは最後の瞬間までクリエイティブなアイデアを試し、ディテールのぼかしや追加のパーティクルなどの最後の仕上げを加えることができました。「従来の事前のレンダリング手法で作業していたら、このような変更を加えることはできなかったでしょう」と、Galarneau 氏は語ります。

CEO 兼設立者である Björn Myreze 氏の説明では、Myreze の社内のエキスパートたちは自分たちのことを「バーチャル エンジニア」と呼んでいます。この会社の原動力は、イマーシブ技術の細かい部分にまでこだわる情熱なのです。

この情熱のおかげで、Phish のショーをまとめるという技術的なジグソー パズルを解くことができたのです。

Myreze では、オペレーターがバンドと一緒にアドリブ演奏できるようにするツールキットの開発に着手しました。しかし、バンドがこのツールキットを使用するわけではないということがすぐに課題となりました。

「グラフィックを構築するとき、私たちが最終的なオペレーターになることがよくあります」と、Myreze の Unreal Engine アーティストである Håvard Hennøy Vikesland 氏は語ります。「このプロジェクトでは、そうではありませんでした。私たちは、内部の技術的な仕組みを知らない人にすべてのシーンを引き渡すつもりでした。

Myreze は、トリガーされる組み合わせに関係なくシームレスに融合されたビジュアルを実現できる、使いやすくて理解しやすいコンソールを構築する必要がありました。

これを開発するために、チームは広範囲の R&D に着手しました。「私たちは、これまでにない方法でライブでトリガーできるシステム、数学、シェーダー システムを構築する必要がありました」と、Björn Myreze 氏は語ります。

多くの実験を経た後、チームは、速度、色、シーン内のブルームなどのその他の美的要素を含むビジュアルのさまざまな側面を変更するために調整できる 10 個のパラメータを決定しました。

これらは、Unreal Engine の DMX プラグインに接続された複数のスライダーを備えたライティング ボードによって制御され、スクリーンにライティングと効果をもたらしました。「基本的に、私たちはグラフィック オペレーター向けのゲームを作成しています」と、Vikesland 氏は語ります。「このゲームの目的は、バンドとジャム セッションをすることです」

ゲーム指向のアプローチを採用するということは、プロジェクトのすべてのシーンを、通常よりもはるかに数学的かつアルゴリズム的な方法で構築する必要があるということです。すべてのビジュアルがバンドを追いかける必要があり、バンドはどこにでも移動する可能性があるためです。

「成長している木があれば、木はバンドと一緒に成長する必要があります」と、Vikesland 氏は説明します。「事前にベイクされた 1 つの成長するアニメーションだけでは不十分です。バンドが予想外の行動をしたらどうなるでしょうか？グラフィックはそれを追いかけません。バンドがどこへ行っても対応できる柔軟性のあるシステムを構築する必要がありました」

つまり、すべてをパラメトリックに、すなわち事前に定義された一連のルールに基づいて構築する必要があるということなのです。

チームは、ゼロからすべてを構築しました。他の 3D ソフトウェアのアニメーションをベイクすることはなく、数学とシェーダー オフセットを使用してアニメートしました。

この斬新なアプローチにより、興味深くユニークな開発方法がいくつか生まれました。ショーの中の泡がその代表的な例です。「これを見ると、ただの泡にしか見えません」と、Vikesland 氏は語ります。「わかりやすくてシンプルです。しかし、その背後では、実は私たちがこれまでに構築した中でも特に複雑なシェーダーが実行されているのです」

泡は 3 次元の球体に見えるかもしれませんが、実際は平面です。

この平面と複雑な数学的設定を使用して、チームはリアルで物理的な特性をもつ 3 次元の泡と光が相互作用している様子を作り出すことができました。「ある意味、これはマテリアルのレイ トレーシングなのです」と、Vikesland 氏は語ります。「しかしながら、これは 2 次元の平面で起きているのです。そして、最終的に、非常にパフォーマンスの高いシーンが生み出されます」

木についても同様でした。

「木のアセットを見つけて、それをシーンに配置すれば森ができると考えるでしょう」と、Vikesland 氏は語ります。「しかし、事前に構築された木のモデルでは、必要なものを実現することはできません」

代わりに、チームは Houdini を使用して、木を作成するための独自のツールを構築しました。このツールを Unreal Engine にエクスポートすると、通常、チームがアクセスできない多くの便利な属性がもたらされました。

「枝の長さと太さを表す UV マップがあり、このデータを使用すると、木を興味深い方法でアニメートできます」と、Vikesland 氏は語ります。「もちろん、木を大きくすることも小さくすることもできます。しかし、非常にサイケデリックに木に沿ってパターンを移動させることもできます。木の枝に沿って花火を打ち上げることもできます」