NFL のカロライナ・パンサーズの試合で複合現実による意外な仕掛けを実現

この印象的な表現の立役者である The Famous Group の CIO 兼共同創業者の Greg Harvey 氏は次のように述べています。「現時点で複合現実には人をあっと驚かせる効果があります。ファンは『今何が起こったの？』という瞬間を体験することになります。この現象がどのように起こり、こうしたデジタルのクリーチャーがどのように現実世界と関わっているのかは、よく知られていません」

Harvey 氏によると、複合現実体験がうまく仕上がれば、ジュラシック・パークの 1 作目に出てくるティラノサウルスのように、想像力をかき立て、現実との境界をあいまいにすることができます。試合直前に現れる MR のパンサーはパンサーズ ファンのお気に入りとなりました。「パンサーが現れるとみなさん興奮し、うなり声を聞けば歓声が上がります」と Harvey 氏は言います。「そのインパクトは、従来のようなコンテンツをスクリーンで流した場合よりずっと大きなものです」

カロライナ・パンサーズの親会社である Tepper Sports & Entertainment の最高収益責任者、Jake Burns 氏にとって、ファンの反応は予想以上でした。「試合ではファンの皆様に新しい画期的な体験を提供することを常に考えており、複合現実のパンサーもいい反応が得られると確信していましたが、反響は予想以上にすごいものでした」

複合現実のイベントが現実のものに

Harvey 氏によると、私たちはまだ、リアルタイム テクノロジーとライブ イベントを融合してできることを探り始めたばかりです。「今まさに劇的な変化が進行中です」と Harvey 氏は言います。「ライブ イベント業界の未来は『イマーシブ』です。それがどのような形をとるのかは、これから見えてくるでしょう。拡張現実、仮想現実、複合現実、その組み合わせ、あるいはまったく新しいものになる可能性があります」

The Famous Group は、このような変化の兆候を 2019 年から感じていました。Unreal Engine を使った初めてのプロジェクトは、ボルチモア・レイブンズ向けの複合現実のライブ体験であり、バーチャルなワタリガラスが、レイブンズの本拠地 M&T バンク・スタジアムのゴール ポストに降り立つというものでした。

これをきっかけに同社は多数の MR プロジェクトを引き受けることになりました。その中には、マイアミのハードロック・スタジアムで開催された第 54 回スーパーボウルや、ヒューストン・テキサンズの本拠地 NRG スタジアムへの常設複合現実設備の導入が含まれます。

カロライナ・パンサーズでも、イマーシブ テクノロジーの驚きの効果が失われることはありませんでした。

Harvey 氏は次のように振り返ります。「話し合いのなかで次のような案が出ました。このテクノロジーを使ってスタジアムの外にあるパンサーの像に命を吹き込み、相手チームを威嚇すればかっこいいのではないか。レイブンズのワタリガラスをさらにレベルアップしたものになる、と。こうして MR のパンサーが誕生し、最初のホーム ゲームでデビューし、インターネット中で話題になったのです」
 

パンサーに命を吹き込むために、TruePoint Laser Scanning は、スタジアムと、その外にあるパンサー像のフル 3D スキャンを行いました。この方法で、パンサーと、パンサーが接することになるあらゆる物理的な要素のスケール モデルができました。

その後、Zoic Studios のアニメーション チームが、スタジアムの 3D モデルを使ってパンサーのルートを計画し、その動きを生で取り込むために撮影スタッフにどのような指示を出すかを事前に視覚化しました。

Zoic は、パンサーがスコアボードに飛び乗るところから、相手チームのフラグをつかみ取り、切り裂き、うなり声を上げ、スタジアムを去るところまで、すべての動きを作り上げました。Zoic Real Time Group の CG スーパーバイザー、Scott Rosekrans 氏は次のように述べています。「フラグは重要な要素で、従来のレンダリング手法では何度も調整しないとできなかったはずです」

パンサーのうなり声は Field Day Sound のサウンド デザイン チームが手がけました。その際には、音が反響する野外スタジアムで PA スピーカーから響く音響効果に問題がないことが確認されました。

The Famous Group は、チームの放送制御室の現場設備と物理的に連携できるよう設計された、トラッキング システムとメディア サーバー システムを導入しました。この動画を見れば、このような複合現実を制御する際の感動や興奮がわかります。

この常設ハードウェアに関するコンサルティングや戦略は Quince Imaging が担当し、AR データ出力用のエンコーダを含むカメラ ヘッドは stYpe が提供しました。スタジアム内のすべてのコンポーネントが相互に接続、通信できるようにする責任を担ったのがこの 2 社です。

各カメラ位置で、トラッキング システムがパン、チルト、フォーカス、ズームのデータをすべてリアルタイムでキャプチャし、その情報をメディア サーバーに送信します。メディア サーバーは、トラッキング データを取り込み、物理的なカメラと同じ位置になるよう仮想カメラを更新します。その後、トラッキングされたアニメーションがライブ カメラ フィードにオーバーレイされ、パンサーのアニメーションがリアルタイムで合成されます。

Unreal Engine に Pixotope を組み込むことで、実際のスタジアムとぴったり合うように仮想スタジアムを調整できるため、展開中にパンサーの動きやタッチポイントを極めて正確に制御できます。

Harvey 氏はまた、デジタルの世界が根本的な変化を遂げようとしていて、ゲーム エンジンのテクノロジーがその変革において重要な役割を果たすことになると考えています。「私たちは、将来的にそれがどのような形をとるとしても、メタバースの作成に Unreal Engine が使われることになると考えています。この業界の未来はデジタル ツインやバーチャル体験に向かっています。拡張現実、仮想現実、複合現実、メタバースはいずれも現時点でゲーム エンジンを活用しているか、今後活用することになるでしょう」

こうした体験は、リアルタイム テクノロジーにより、今後さらにインタラクティブになっていくと予想されます。「Unreal Engine がその進化を先導しています」と Harvey 氏は言います。「私たちのビジョンは、リアルタイムのレイヤーをライブ イベントに重ね、コンテンツ アセットをスクリーンから複合現実システム、モバイル Web での AR 体験、そして Web ベースのリアルタイム デジタル ツインへと移行させていくことです。Unreal により、このようなことが可能になります」

ファンがこうしたイマーシブなライブ体験をリアルタイムでコントロールし、自分自身を挿入できるようになれば、クリエイティブな表現の新たな世界が開かれます。「映画のレディ・プレイヤー 1 で言えば、まだ開始から数分経ったところです」と Harvey 氏はまとめます。「この世界は、現段階では想像もできないような方法で拡張されていくことになるでしょう。そして、この新しいイマーシブな世界を推進しているロケットは、Unreal のようなゲーム エンジンが動かしています」