Image courtesy of The Famous Group

NFL のカロライナ・パンサーズの試合で複合現実による意外な仕掛けを実現

Craig Laliberte |
2021年12月16日
NFL シーズン最初の日曜日は毎年、驚きの展開にあふれているものですが、今年は特に目を引いたものがありました。カロライナ・パンサーズと重要な対戦相手との試合開始前に、バンク・オブ・アメリカ・スタジアムにいた 7 万人のファンが目にして驚いたのは、複合現実 (MR) の巨大なパンサーでした。パンサーはジャンボトロンのスクリーンに飛び乗り、ニューヨーク・ジェッツのフラグを切り裂き、うなり声を上げてから走り去ったのでした。この一幕を撮影した動画が短時間で拡散され、Twitter だけで 590 万回再生されました。
 

この印象的な表現の立役者である The Famous Group の CIO 兼共同創業者の Greg Harvey 氏は次のように述べています。「現時点で複合現実には人をあっと驚かせる効果があります。ファンは『今何が起こったの?』という瞬間を体験することになります。この現象がどのように起こり、こうしたデジタルのクリーチャーがどのように現実世界と関わっているのかは、よく知られていません」

Harvey 氏によると、複合現実体験がうまく仕上がれば、ジュラシック・パークの 1 作目に出てくるティラノサウルスのように、想像力をかき立て、現実との境界をあいまいにすることができます。試合直前に現れる MR のパンサーはパンサーズ ファンのお気に入りとなりました。「パンサーが現れるとみなさん興奮し、うなり声を聞けば歓声が上がります」と Harvey 氏は言います。「そのインパクトは、従来のようなコンテンツをスクリーンで流した場合よりずっと大きなものです」

カロライナ・パンサーズの親会社である Tepper Sports & Entertainment の最高収益責任者、Jake Burns 氏にとって、ファンの反応は予想以上でした。「試合ではファンの皆様に新しい画期的な体験を提供することを常に考えており、複合現実のパンサーもいい反応が得られると確信していましたが、反響は予想以上にすごいものでした」

複合現実のイベントが現実のものに

Harvey 氏によると、私たちはまだ、リアルタイム テクノロジーとライブ イベントを融合してできることを探り始めたばかりです。「今まさに劇的な変化が進行中です」と Harvey 氏は言います。「ライブ イベント業界の未来は『イマーシブ』です。それがどのような形をとるのかは、これから見えてくるでしょう。拡張現実、仮想現実、複合現実、その組み合わせ、あるいはまったく新しいものになる可能性があります」

The Famous Group は、このような変化の兆候を 2019 年から感じていました。Unreal Engine を使った初めてのプロジェクトは、ボルチモア・レイブンズ向けの複合現実のライブ体験であり、バーチャルなワタリガラスが、レイブンズの本拠地 M&T バンク・スタジアムのゴール ポストに降り立つというものでした。

これをきっかけに同社は多数の MR プロジェクトを引き受けることになりました。その中には、マイアミのハードロック・スタジアムで開催された第 54 回スーパーボウルや、ヒューストン・テキサンズの本拠地 NRG スタジアムへの常設複合現実設備の導入が含まれます。
テキサンズが新しい MR システムの導入を決めたのは、新たなスポンサー収益が見込まれたからでした。「ホット ウィールのようなトラックでスタジアム全体を埋めつくして Kroger のショッピング カートのレースを行ったり、テキサス州の宝くじのマーケティングのために宝くじの抽選会をフィールドでライブで行ったり、ゴミ収集車をフィールドに置いて廃棄物管理の体験を提供したりしました」と Harvey 氏は説明します。

「これらは従来のスポンサーシップ アクティベーションとしてスクリーン上で行ってもいいものですが、MR を通じて物理的な会場の中でリアルに表現することで、会場内外へのインパクト、ビジュアル体験のストーリーへの没入感、そしてワクワク感が高まります」
カロライナ・パンサーズでも、イマーシブ テクノロジーの驚きの効果が失われることはありませんでした。

Harvey 氏は次のように振り返ります。「話し合いのなかで次のような案が出ました。このテクノロジーを使ってスタジアムの外にあるパンサーの像に命を吹き込み、相手チームを威嚇すればかっこいいのではないか。レイブンズのワタリガラスをさらにレベルアップしたものになる、と。こうして MR のパンサーが誕生し、最初のホーム ゲームでデビューし、インターネット中で話題になったのです」
 

複合現実をイベントで活用する方法

MR のパンサーをスタジアムに解き放つ際には、アニメーションを映像に合成するという従来のポストプロダクションのコンセプトが使われましたが、このプロセスは Unreal Engine と物理的トラッキング テクノロジーによりリアルタイムで行われました。
Image courtesy of The Famous Group
パンサーに命を吹き込むために、TruePoint Laser Scanning は、スタジアムと、その外にあるパンサー像のフル 3D スキャンを行いました。この方法で、パンサーと、パンサーが接することになるあらゆる物理的な要素のスケール モデルができました。

その後、Zoic Studios のアニメーション チームが、スタジアムの 3D モデルを使ってパンサーのルートを計画し、その動きを生で取り込むために撮影スタッフにどのような指示を出すかを事前に視覚化しました。

Zoic は、パンサーがスコアボードに飛び乗るところから、相手チームのフラグをつかみ取り、切り裂き、うなり声を上げ、スタジアムを去るところまで、すべての動きを作り上げました。Zoic Real Time Group の CG スーパーバイザー、Scott Rosekrans 氏は次のように述べています。「フラグは重要な要素で、従来のレンダリング手法では何度も調整しないとできなかったはずです」
Image courtesy of The Famous Group
「Unreal でシェーダーを開発することで、XR シーンを実行するエンド ユーザーが、チームのロゴを入れ替え、フラグの形や大きさを調整し、3 つの異なるマスキング レベルを適用して布地が引き裂かれるところをリアルにアニメーションさせてから、引き裂かれた実際のフラグに切り替えられるようにしました」

Zoic のアニメーションが完成したら、The Famous Group のライティング アーティストが、パンサーに対するライティングをスタジアムでの展開の時間帯に合わせて Unreal Engine 内で微調整し、CG のパンサーが試合当日にスタジアム内で自然に見えるようにしました。
Image courtesy of The Famous Group
パンサーのうなり声は Field Day Sound のサウンド デザイン チームが手がけました。その際には、音が反響する野外スタジアムで PA スピーカーから響く音響効果に問題がないことが確認されました。

The Famous Group は、チームの放送制御室の現場設備と物理的に連携できるよう設計された、トラッキング システムとメディア サーバー システムを導入しました。この動画を見れば、このような複合現実を制御する際の感動や興奮がわかります。

この常設ハードウェアに関するコンサルティングや戦略は Quince Imaging が担当し、AR データ出力用のエンコーダを含むカメラ ヘッドは stYpe が提供しました。スタジアム内のすべてのコンポーネントが相互に接続、通信できるようにする責任を担ったのがこの 2 社です。

各カメラ位置で、トラッキング システムがパン、チルト、フォーカス、ズームのデータをすべてリアルタイムでキャプチャし、その情報をメディア サーバーに送信します。メディア サーバーは、トラッキング データを取り込み、物理的なカメラと同じ位置になるよう仮想カメラを更新します。その後、トラッキングされたアニメーションがライブ カメラ フィードにオーバーレイされ、パンサーのアニメーションがリアルタイムで合成されます。

Unreal Engine に Pixotope を組み込むことで、実際のスタジアムとぴったり合うように仮想スタジアムを調整できるため、展開中にパンサーの動きやタッチポイントを極めて正確に制御できます。
Image courtesy of The Famous Group
スタジアム内のファンは、大スクリーンを見ることで MR 体験に参加することになります。「現時点で MR をモバイル デバイスでのライブ体験に統合する方法はありませんが、将来的には実現されるでしょう」と Harvey 氏は言います。「体験のゲーム化については、いくつかの構想に取り組んでいます。これにより、スタジアム内のファンは複合現実を見るだけでなく、リアルタイムでプレイできるようになります」

Unreal Engine による複合現実体験

イベント、特にスポーツの生観戦では一般に、すべての試合で同じコンテンツが再生されます。The Famous Group は、Unreal Engine を使用することで、幅広いインプットに応じて、イベントごとにコンテンツを変えることができます。たとえば、バーチャルなパンサーが引き裂くチームフラグをホーム ゲームのたびに変えたり、スタジアム内を移動するルートを変えたりすることができます。

「このようなことは、従来の VFX ポストプロダクション パイプラインでは効率的に達成できません」と Harvey 氏は言います。「このゲーム エンジンがもたらす大きなサンドボックスによって、ファンの体験の 1 回ごとに動的でユニークなコンテンツを制作できます」

さらに、ゲーム エンジンを使うことで、チームはプロジェクトにゲームのロジックを組み込み、よりイマーシブでインタラクティブな体験を作り出すことができます。「こうすれば、まったく新しいレベルのインタラクションが可能になり、体験が単調で受動的なものから、ゲーム化された能動的なものへと変わります」と Harvey 氏は説明します。
Image courtesy of The Famous Group
Harvey 氏はまた、デジタルの世界が根本的な変化を遂げようとしていて、ゲーム エンジンのテクノロジーがその変革において重要な役割を果たすことになると考えています。「私たちは、将来的にそれがどのような形をとるとしても、メタバースの作成に Unreal Engine が使われることになると考えています。この業界の未来はデジタル ツインやバーチャル体験に向かっています。拡張現実、仮想現実、複合現実、メタバースはいずれも現時点でゲーム エンジンを活用しているか、今後活用することになるでしょう」

こうした体験は、リアルタイム テクノロジーにより、今後さらにインタラクティブになっていくと予想されます。「Unreal Engine がその進化を先導しています」と Harvey 氏は言います。「私たちのビジョンは、リアルタイムのレイヤーをライブ イベントに重ね、コンテンツ アセットをスクリーンから複合現実システム、モバイル Web での AR 体験、そして Web ベースのリアルタイム デジタル ツインへと移行させていくことです。Unreal により、このようなことが可能になります」

ファンがこうしたイマーシブなライブ体験をリアルタイムでコントロールし、自分自身を挿入できるようになれば、クリエイティブな表現の新たな世界が開かれます。「映画のレディ・プレイヤー 1 で言えば、まだ開始から数分経ったところです」と Harvey 氏はまとめます。「この世界は、現段階では想像もできないような方法で拡張されていくことになるでしょう。そして、この新しいイマーシブな世界を推進しているロケットは、Unreal のようなゲーム エンジンが動かしています」

    今すぐ Unreal Engine を入手しましょう。

    世界で最もオープンで高度な制作ツールを手に入れましょう。
    Unreal Engine は、すべての機能がすぐに使える状態で、すべてのソース コードにアクセスできます。
    GDC 2024 にオンラインで参加、または直接参加しましょう。
    イベント
    1月17日

    GDC 2024 にオンラインで参加、または直接参加しましょう。

    State of Unreal を視聴すると、Epic やパートナーによる最新ニュースを入手したり技術講演の詳細を確認したり、セッションやラーニング シアターでアイデアや情報を得たりすることができます。
    GDC 2024 にオンラインで参加、または直接参加しましょう。
    イベント

    GDC 2024 にオンラインで参加、または直接参加しましょう。

    State of Unreal を視聴すると、Epic やパートナーによる最新ニュースを入手したり技術講演の詳細を確認したり、セッションやラーニング シアターでアイデアや情報を得たりすることができます。
    今回のテーマは「おす」<br />
Unreal Engine学習向け作品コンテスト、“第21回UE5ぷちコン”開催のお知らせ
    ニュース
    2月16日

    今回のテーマは「おす」
    Unreal Engine学習向け作品コンテスト、“第21回UE5ぷちコン”開催のお知らせ

    株式会社ヒストリアは、Unreal Engine学習向けコンテスト“第21回UE5ぷちコン”を開催、テーマを「おす」と発表いたしました。20224年2月16日(金)~2024年4月7日(日)の期間内に作品エントリーを受け付けております。また、サイドイベント” ぷちコンゲームジャム”をヒストリアオフィスにて開催いたします。
    今回のテーマは「おす」<br />
Unreal Engine学習向け作品コンテスト、“第21回UE5ぷちコン”開催のお知らせ
    ニュース

    今回のテーマは「おす」
    Unreal Engine学習向け作品コンテスト、“第21回UE5ぷちコン”開催のお知らせ

    株式会社ヒストリアは、Unreal Engine学習向けコンテスト“第21回UE5ぷちコン”を開催、テーマを「おす」と発表いたしました。20224年2月16日(金)~2024年4月7日(日)の期間内に作品エントリーを受け付けております。また、サイドイベント” ぷちコンゲームジャム”をヒストリアオフィスにて開催いたします。
    2024年2月の無料の Unreal Engine マーケットプレイス コンテンツ
    ニュース
    2月6日

    2024年2月の無料の Unreal Engine マーケットプレイス コンテンツ

    ファンタジックなインテリア、スタイライズされたクリスタルの鉱山、90年代がよみがえるアセットなど、Unreal Engine マーケットプレイスから 2月の無料3Dアセットが登場しました!
    2024年2月の無料の Unreal Engine マーケットプレイス コンテンツ
    ニュース

    2024年2月の無料の Unreal Engine マーケットプレイス コンテンツ

    ファンタジックなインテリア、スタイライズされたクリスタルの鉱山、90年代がよみがえるアセットなど、Unreal Engine マーケットプレイスから 2月の無料3Dアセットが登場しました!