Magnopus が Unreal Engine が提供するバーチャル プロダクションを駆使して Amazon のFallout シリーズを映像化
Courtesy of Magnopus/Kilter Films/Amazon MGM Studios
2024年5月13日
Magnopus は、10 年以上にわたり、先駆的なテクノロジーを駆使するクリエイティブ スタジオで、Magnopus ならではの数々のエンターテインメント体験を制作してきました。
没入感溢れる VR/AR 体験から、バーチャル プロダクションのあらゆる側面 (インカメラ VFX、バーチャル アート部門、LED ボリューム オペレーションを含む) まで、Unreal Engine サービス パートナー である Magnopus は、今日の世界有数の映像制作者やブランドからの委託を受け、本当の意味で記憶に残るコンテンツを提供するため、テクノロジーの限界に挑戦してきました。
最近では、Jonathan Nolan 氏と Lisa Joy 氏が率いる Kilter Studios と緊密に連携し、Amazon プライム ビデオの大ヒット テレビ シリーズ「Fallout (フォールアウト)」 のバーチャル プロダクションに取り組みました。Magnopus のバーチャル プロダクション担当ディレクターである AJ Sciutto 氏に、ICVFX を使用してこのディストピア世界を映像化するためのクリエイティブなテクニカル プロセス、Unreal Engine が提供するリアルタイムの柔軟性、35mm フィルムでの撮影とバーチャル プロダクションとを組み合わせた作業などについてお話を伺いました。
没入感溢れる VR/AR 体験から、バーチャル プロダクションのあらゆる側面 (インカメラ VFX、バーチャル アート部門、LED ボリューム オペレーションを含む) まで、Unreal Engine サービス パートナー である Magnopus は、今日の世界有数の映像制作者やブランドからの委託を受け、本当の意味で記憶に残るコンテンツを提供するため、テクノロジーの限界に挑戦してきました。
最近では、Jonathan Nolan 氏と Lisa Joy 氏が率いる Kilter Studios と緊密に連携し、Amazon プライム ビデオの大ヒット テレビ シリーズ「Fallout (フォールアウト)」 のバーチャル プロダクションに取り組みました。Magnopus のバーチャル プロダクション担当ディレクターである AJ Sciutto 氏に、ICVFX を使用してこのディストピア世界を映像化するためのクリエイティブなテクニカル プロセス、Unreal Engine が提供するリアルタイムの柔軟性、35mm フィルムでの撮影とバーチャル プロダクションとを組み合わせた作業などについてお話を伺いました。
Unreal Engine が Magnopus が駆使する数々のツールに加わったのはいつでしょうか？
Magnopus は、「The Mandalorian (マンダロリアン)」の撮影が開始される前の 2018 年から、Unreal Engine とその関連ツールでバーチャル プロダクション ツールを構築してきました。Epic チームとの連携により、私たちはクリエイターが仮想ワールドに入り、バーチャル レンズを通して素晴らしいストーリーを伝えることができるような、世界に通用するツール スイートの構築を目指しました。ICVFX は、Magnopus が使用しているツール群の 1 つです。Magnopus の優れたソフトウェア エンジニアリング チームが ICVFX を活用することで、nDisplay と Unreal Engine のパワフルな性能を十二分に活用し、LED ウォールに素晴らしいイメージを表示することができます。
Magnopus が Fallout に携わるようになったのはいつでしょうか？また、本作のバーチャル プロダクションで Magnopus はどのような役割を果たしのでしょうか？
Jonathan Nolan が率いる Kilter Films チームとは、2020 年の R&D プロジェクトで緊密に連携し、2021 年末に Westworld (ウェストワールド) シーズン 4 で再び共同で作業に取り組みました。Westworld の制作中に、Fallout の制作準備にむけた話し合いを開始しました。当時は、まだパイロット版の脚本しか出来上がっておらず、私たちは、クリエイティブ部門の責任者という立場で本作に携わっていました。
本作全体でバーチャル プロダクションを活用するうえで、クリエイターの立場からの情報を提供し、映像制作者と協力して、脚本の中で ICVFX のメリットを最大限に活用できるシーンと環境を分析しました。活用できるシーンは、Vault 33 の農場のシーンと Vault のドアのシーン、Vault 4 のカフェテリアのセット、そしてグリフィス天文台内にある New California Republic (新カリフォルニア共和国) の基地の 4 つの環境という結果が得られました。さらに、Vertibird の中で起こっていることはすべて、LED プロセス撮影の最適な候補となりました。
Magnopus は、「The Mandalorian (マンダロリアン)」の撮影が開始される前の 2018 年から、Unreal Engine とその関連ツールでバーチャル プロダクション ツールを構築してきました。Epic チームとの連携により、私たちはクリエイターが仮想ワールドに入り、バーチャル レンズを通して素晴らしいストーリーを伝えることができるような、世界に通用するツール スイートの構築を目指しました。ICVFX は、Magnopus が使用しているツール群の 1 つです。Magnopus の優れたソフトウェア エンジニアリング チームが ICVFX を活用することで、nDisplay と Unreal Engine のパワフルな性能を十二分に活用し、LED ウォールに素晴らしいイメージを表示することができます。
Magnopus が Fallout に携わるようになったのはいつでしょうか？また、本作のバーチャル プロダクションで Magnopus はどのような役割を果たしのでしょうか？
Jonathan Nolan が率いる Kilter Films チームとは、2020 年の R&D プロジェクトで緊密に連携し、2021 年末に Westworld (ウェストワールド) シーズン 4 で再び共同で作業に取り組みました。Westworld の制作中に、Fallout の制作準備にむけた話し合いを開始しました。当時は、まだパイロット版の脚本しか出来上がっておらず、私たちは、クリエイティブ部門の責任者という立場で本作に携わっていました。
本作全体でバーチャル プロダクションを活用するうえで、クリエイターの立場からの情報を提供し、映像制作者と協力して、脚本の中で ICVFX のメリットを最大限に活用できるシーンと環境を分析しました。活用できるシーンは、Vault 33 の農場のシーンと Vault のドアのシーン、Vault 4 のカフェテリアのセット、そしてグリフィス天文台内にある New California Republic (新カリフォルニア共和国) の基地の 4 つの環境という結果が得られました。さらに、Vertibird の中で起こっていることはすべて、LED プロセス撮影の最適な候補となりました。
そこで、Howard Cummings 氏やアート ディレクターの Laura Ballinger 氏と協力して、セットのどの部分を実際に構築し、どの部分をバーチャルに作成すべきかを決定していきました。こういった決定はライティングと VFX に非常に大きな影響を与えるため、コンセプト アートとストーリーボードを使って、2 つのワールドを統合し、リアル/バーチャル間の移行箇所を正確に把握できるように調整を重ねました。
この決定の大部分は、実物のセットが終わる箇所と、バーチャル セットが始まる箇所を特定することです。さらに、3D 仮想ワールドがどこで終わり、マット ペインティングがどこから始まるかについても特定します。マット ペインターである Frank Capezzuto III 氏と Rocco Gioffre 氏は、パノラマ撮影で LED ウォールを最大限に活用できるデザインを考案してくれました。この取り組みによって、LED を使った撮影に適した「プロウスキー保護シェルター」というアプローチを使用することができました。
この決定の大部分は、実物のセットが終わる箇所と、バーチャル セットが始まる箇所を特定することです。さらに、3D 仮想ワールドがどこで終わり、マット ペインティングがどこから始まるかについても特定します。マット ペインターである Frank Capezzuto III 氏と Rocco Gioffre 氏は、パノラマ撮影で LED ウォールを最大限に活用できるデザインを考案してくれました。この取り組みによって、LED を使った撮影に適した「プロウスキー保護シェルター」というアプローチを使用することができました。
Fallout の LED ボリュームの構築はどのようなプロセスで行われたのですか？
私たちは、LED ボリュームの初期設計を支援することから始めました。私たちが意図したのは、湾曲したボリュームの照明によるメリットだけでなく、平坦なウォールの直線部分によって提供されるより長い歩行や会話の柔軟性を映像制作者にもたらすステージを設計することでした。
その結果、馬蹄形のステージを採用することになり、最終的に幅 22.86m (75 フィート)、高さ 6.40m (21 フィート)、長さ約 30.48m (100 フィート) の LED ウォールが完成しました。そのサイズを収容できるステージを見つけることが次の課題となりました。当時は利用できるステージがほとんどなく、Manhattan Beach Studios (MBS) の Jeffrey Soderberg 氏と Chris Cox 氏がステージの確保に乗り出しました。
彼らは、プロダクションの要件に特化したボリュームを設計 構築するために、私たちおよび Mitch Lathrop 氏と Koby Kobylko 氏が率いる Fuse Technical Group のグループと協力し、その結果、市場で入手可能な最先端技術を搭載したモジュール式で柔軟な LED ステージが、ロングアイランドのベスページに構築されました。
私たちは、LED ボリュームの初期設計を支援することから始めました。私たちが意図したのは、湾曲したボリュームの照明によるメリットだけでなく、平坦なウォールの直線部分によって提供されるより長い歩行や会話の柔軟性を映像制作者にもたらすステージを設計することでした。
その結果、馬蹄形のステージを採用することになり、最終的に幅 22.86m (75 フィート)、高さ 6.40m (21 フィート)、長さ約 30.48m (100 フィート) の LED ウォールが完成しました。そのサイズを収容できるステージを見つけることが次の課題となりました。当時は利用できるステージがほとんどなく、Manhattan Beach Studios (MBS) の Jeffrey Soderberg 氏と Chris Cox 氏がステージの確保に乗り出しました。
彼らは、プロダクションの要件に特化したボリュームを設計 構築するために、私たちおよび Mitch Lathrop 氏と Koby Kobylko 氏が率いる Fuse Technical Group のグループと協力し、その結果、市場で入手可能な最先端技術を搭載したモジュール式で柔軟な LED ステージが、ロングアイランドのベスページに構築されました。
コンピューティングの面では、Fuse Technical Group がサーバー ルームとステージの映像/データ配信の設計で大きく貢献してくれました。Fuse Technical Group は LA で標準的な輸送用コンテナの中にサーバー ルームをカスタムビルドし、それをニューヨークに輸送したのです。メインの LED ウォール用の 12 x 4K 出力と、その他の各種ワイルド ウォール用の 6 つの 4K 出力は、光ファイバーでボックスに接続されたミッション コントロールの 6 つのオペレーター ワークステーションとともに、すべてそのサーバー ルームに収容されました。
LED パネルには Roe BP2 v2、プロセッサーには Brompton Tessera SX40、カメラ トラッキングには StYpe RedSpy、オブジェクト トラッキングには StYpe Follower System を使用しました。Fabian Flores が率いる当社のメカトロニクス チームは、ワイルド ウォール用の Follower System の LED ビーコンの取り付けブラケットを設計して、3D プリントし、リアルタイムで移動および再構成できる Unreal の動的な投影面として機能するようにしました。
LED パネルには Roe BP2 v2、プロセッサーには Brompton Tessera SX40、カメラ トラッキングには StYpe RedSpy、オブジェクト トラッキングには StYpe Follower System を使用しました。Fabian Flores が率いる当社のメカトロニクス チームは、ワイルド ウォール用の Follower System の LED ビーコンの取り付けブラケットを設計して、3D プリントし、リアルタイムで移動および再構成できる Unreal の動的な投影面として機能するようにしました。
Lily Pitts、Guillermo Quesada、Ross Rosewarne が率いる Magnopus のエンジニアリング チームは、最初の撮影の前に、すべてのソフトウェア コンポーネントがハードウェアと連動するステージのポストコンストラクションを依頼しました。ハードウェアの設置後、リモートのチーム メンバーから VAD のアップデートをプルし、LED ウォールに画像をプッシュするためのコンテンツ管理システムをセットアップを行いました。
Unreal と nDisplay を使用してシーンをレンダリングし、LiveLink を使用して RedSpy のデータをリアルタイムでエンジンに取り込みました。撮影中は、Take Recorder を使用してトラッキング データをキャプチャし、Jay Worth 氏と Andrea Knoll 氏が監督する VFX チームに簡単にエクスポートできるように、そのデータを USD データにまとめるカスタム ソフトウェアを作成しました。
本作の作業に取り組むうえでの最大の課題はどのようなものでしたか？
最大の課題はフィルム撮影でした。フィルム撮影により、ディテールをソフトに仕上げ、アーティスティックなトウモロコシ畑を際立たせ、荒れ地のレイヤーとの違いを創出することで、間違いなく本作ならではの美しさを表現することができました。デジタルで撮影すると印象が大きく違ったものになるため、ボリュームでフィルムで撮影することについて検討されることは一切なく、ただその撮影方法だけが検討の対象になりました。
Unreal と nDisplay を使用してシーンをレンダリングし、LiveLink を使用して RedSpy のデータをリアルタイムでエンジンに取り込みました。撮影中は、Take Recorder を使用してトラッキング データをキャプチャし、Jay Worth 氏と Andrea Knoll 氏が監督する VFX チームに簡単にエクスポートできるように、そのデータを USD データにまとめるカスタム ソフトウェアを作成しました。
本作の作業に取り組むうえでの最大の課題はどのようなものでしたか？
最大の課題はフィルム撮影でした。フィルム撮影により、ディテールをソフトに仕上げ、アーティスティックなトウモロコシ畑を際立たせ、荒れ地のレイヤーとの違いを創出することで、間違いなく本作ならではの美しさを表現することができました。デジタルで撮影すると印象が大きく違ったものになるため、ボリュームでフィルムで撮影することについて検討されることは一切なく、ただその撮影方法だけが検討の対象になりました。
その 1 年前に「I」をフィルムで撮影していたので、私たちには Arricam のシンクロ ボックスを扱ったり、カメラにゲンロックをかけたりした経験がありました。カメラにフル解像度のデジタル モニターがないため、LED ウォールに映し出される映像のルックをクリエイティブかつ正確に調整する必要がありました。
そこで考案した解決策は、Sony Venice カメラの出力に本作のフィルム LUT を適用し、それをリファレンスとして、Unreal Engine 内の OpenColorIO とカラー グレーディング ツールを組み合わせてライティングを調整し、色を合わせることでした。LED ボリュームのシーンの色温度と前景セットのライティングの色温度を、ライティングを変えるたびに分光測色計で測定し、確実に一致するようにしました。
Fallout のバーチャル スカウティングで、Unreal Engine はどのように役立ちましたか？
Fallout では、バーチャル セットがすべて Unreal Engine 内で構築されたため、クリエイティブ プロセス全体を通して、バーチャル スカウティング ツールをはじめとする Unreal のすべてのバーチャル プロダクション ツールを活用することができました。バーチャル スカウティングでは、映像制作者が VR に入り、技術的なスカウティングを行い、最終的にはそのアクションをブロック アウトすることができます。
バーチャル スカウティング ツールにより、カメラやキャラクターを正確な位置に配置し、リアルタイムでレンズでの撮影まで行うことができました。その情報を保存し、それを使用して環境のヒートマップを作成することができました。このヒートマップで、セットのどの領域がストーリーにとって最も重要であるかを特定することで、クリエイターはその領域に特に注意を払い、ライティングを改善し、視覚的な忠実度を高めることができました。
これを把握していることは、以降の最適化の取り組みにも役立ちました。撮影方向がわかっていたので、シーンをモジュール方式で切り分けることができ、カメラに映っていないときには、演算負荷の高いセット ピースを隠すことができたのです。
Kalan Ray と Katherine Harris が率いるビジュアライゼーション チームは、これまで実物の設備で撮影されることが意図されていた要素も含め、すべてのセットの実物大の 3D バージョンを Unreal で作成しました。つまり、映像制作者がシーンをブロック アウトしたい場合は、バーチャル アセットだけに限定されないため、シーン全体を視覚化し、本作のあらゆる部門に情報を提供する意味のあるショットを構成することができたのです。
プリプロダクションからオンセットでのプロダクション、そしてポストプロダクションに至るまでのワークフローと、プロダクション全体を通じてクリエイティブのオプションを柔軟で適応可能な状態に保った方法について教えてください。
プリプロダクションは、プランニングとビジュアライゼーションがすべてでした。ボリュームに合わせてセットが定まった後、Magnopus のビジュアラｲゼーション チームが作業を開始しました。Craig Barron が率いるクリエイティブ チームが視覚効果や美術部門と協力して、特定のセットの実際のフットプリントとバーチャルのフットプリントを正確に合わせる一方で、ビジュアライゼーション チームはすでに本作の技術的なビジュアライゼーションに取り組んでいました。
バーチャルのイメージと現場に構築されているものとの境界線を効果的に理解するためには、実寸のステージで作業する必要がありました。そこで、ロングアイランド州ベスページにある実際の倉庫に実物大のモデルを構築し、そこに実物大の LED ウォールを設置しました。これにより、本作のクリエイティブな側面 (どのようなアングルやレンズで「ウォールを撮影」するか) だけでなく、スタント チーム用のピック ポイントの設置場所や、オーバーヘッド照明の設置場所、さらには Unreal のオペレーター デスクの位置まで特定することができました。
このおかげで、予想外の形でいくつかの問題に早い段階で対処することもできました。たとえば、このプロセスを使用することで、実際のドアの寸法が Vertibird の一部が通過するには小さすぎることが判明しました。解決策を見つけるのに十分な時間があったため、これを見つけたときは全員がとても喜びました。
そこで考案した解決策は、Sony Venice カメラの出力に本作のフィルム LUT を適用し、それをリファレンスとして、Unreal Engine 内の OpenColorIO とカラー グレーディング ツールを組み合わせてライティングを調整し、色を合わせることでした。LED ボリュームのシーンの色温度と前景セットのライティングの色温度を、ライティングを変えるたびに分光測色計で測定し、確実に一致するようにしました。
Fallout のバーチャル スカウティングで、Unreal Engine はどのように役立ちましたか？
Fallout では、バーチャル セットがすべて Unreal Engine 内で構築されたため、クリエイティブ プロセス全体を通して、バーチャル スカウティング ツールをはじめとする Unreal のすべてのバーチャル プロダクション ツールを活用することができました。バーチャル スカウティングでは、映像制作者が VR に入り、技術的なスカウティングを行い、最終的にはそのアクションをブロック アウトすることができます。
バーチャル スカウティング ツールにより、カメラやキャラクターを正確な位置に配置し、リアルタイムでレンズでの撮影まで行うことができました。その情報を保存し、それを使用して環境のヒートマップを作成することができました。このヒートマップで、セットのどの領域がストーリーにとって最も重要であるかを特定することで、クリエイターはその領域に特に注意を払い、ライティングを改善し、視覚的な忠実度を高めることができました。
これを把握していることは、以降の最適化の取り組みにも役立ちました。撮影方向がわかっていたので、シーンをモジュール方式で切り分けることができ、カメラに映っていないときには、演算負荷の高いセット ピースを隠すことができたのです。
Kalan Ray と Katherine Harris が率いるビジュアライゼーション チームは、これまで実物の設備で撮影されることが意図されていた要素も含め、すべてのセットの実物大の 3D バージョンを Unreal で作成しました。つまり、映像制作者がシーンをブロック アウトしたい場合は、バーチャル アセットだけに限定されないため、シーン全体を視覚化し、本作のあらゆる部門に情報を提供する意味のあるショットを構成することができたのです。
プリプロダクションからオンセットでのプロダクション、そしてポストプロダクションに至るまでのワークフローと、プロダクション全体を通じてクリエイティブのオプションを柔軟で適応可能な状態に保った方法について教えてください。
プリプロダクションは、プランニングとビジュアライゼーションがすべてでした。ボリュームに合わせてセットが定まった後、Magnopus のビジュアラｲゼーション チームが作業を開始しました。Craig Barron が率いるクリエイティブ チームが視覚効果や美術部門と協力して、特定のセットの実際のフットプリントとバーチャルのフットプリントを正確に合わせる一方で、ビジュアライゼーション チームはすでに本作の技術的なビジュアライゼーションに取り組んでいました。
バーチャルのイメージと現場に構築されているものとの境界線を効果的に理解するためには、実寸のステージで作業する必要がありました。そこで、ロングアイランド州ベスページにある実際の倉庫に実物大のモデルを構築し、そこに実物大の LED ウォールを設置しました。これにより、本作のクリエイティブな側面 (どのようなアングルやレンズで「ウォールを撮影」するか) だけでなく、スタント チーム用のピック ポイントの設置場所や、オーバーヘッド照明の設置場所、さらには Unreal のオペレーター デスクの位置まで特定することができました。
このおかげで、予想外の形でいくつかの問題に早い段階で対処することもできました。たとえば、このプロセスを使用することで、実際のドアの寸法が Vertibird の一部が通過するには小さすぎることが判明しました。解決策を見つけるのに十分な時間があったため、これを見つけたときは全員がとても喜びました。
クリエイティブのビジュアライゼーション作業に入り、バーチャル プロダクション スーパーバイザーの Kathryn Brillhart と Kalan Ray は、各エピソードのディレクターと協力して、より複雑なシーンのブロッキングを視覚化しました。バーチャル プロダクション リードの Kat Harris は、最初のブロッキングを設定し、マルチユーザー システムを統合することで、映像制作者とアニメーターが協力して作業に取り組み、リアルタイムに各要素を動かし始めることができるようにしました。また、ボリュームでの撮影を想定していなかった Filly のセットもこの方法で視覚化しました。より論理的に複雑な撮影の期間の計画を立てるのに役立つからです。
さらに、エピソード ディレクターの Wayne Yip 氏、Clare Kilner 氏、Fredrick E. O. Toye 氏と協力して、グリフィス天文台にある New California Republic の基地と Vault 4 の食堂の一部をブロック アウトし、撮影する内容の空間的背景を把握しました。LED ボリュームの効果を最大限に活用するということは、プレビズ パスでは通常確認できないシーン (セリフのシーンなど) を視覚化することを意味します。なぜなら、そうすることで、ストーリーの空想上の要素を確実にフレームに収めることができるからです。Lucy と Maximus は、ピクニック テーブルで食事をしているだけではなく、巨大な地下原子力貯蔵庫の中にいるのです。この映像は、その奇抜なストーリーを裏付けるものである必要があります。
ボリュームでの制作期間中、オンセット プロデューサーである Billy Bonifeld 氏と Devon Hubner 氏は、私たちが現場のすべてのチームと緊密に連携できるよう配慮してくれました。Unreal からステージ上の 150 台以上の ARRI スカイパネルに DMX ライティングを供給する際、Magnopus のクリエイティブ テクノロジスト、Addison Herr は、その照明出力をガファー チームのディミング ボードのオペレーターと構築し、統合しました。
私たちは、極端なアングルでの撮影時にボリュームの隙間を埋めるために、完全に連結された LED ワイルド ウォールを用意しました。Magnopus のバーチャル プロダクション メカトロニクス エンジニアの Fabian Flores とバーチャル プロダクション ハードウェア エンジニアの Julio Salcedo は、グリップ部門と協力して、機材をどこでどのように展開すれば安全であるかを検討しました。また、Vertibird のコックピットに使用されているプレキシガラスが、発光するコンテンツの前で撮影されたときに歪みやアーティファクトを生じないように、建設チームと協力しました。
私たちは、VFX、アート、照明部門と緊密に連携し、可能な限り忠実度の高い環境を実現しました。Magnopus のオンセット VAD アーティスト (Sarah Hudson Semple、Sidney Olluyn、Tony Kwok、Kellie Brewart、Liesbet Segaert、Hugh D. McCullom、Lisa Barber) とともに LED ウォールのコンテンツを確認した後、バーチャル プロダクション プロデューサーの Gabriel Blake 氏と Andrés Martinez 氏がコンテンツを調整しました。部門長やアート、VFX、照明の責任者とコンテンツ レビューを実施し、環境の進捗状況と、きわめて高度な忠実度を確実に達成するためにサポートが必要な箇所について全員が同じ認識を持っていることを確認しました。
さらに、エピソード ディレクターの Wayne Yip 氏、Clare Kilner 氏、Fredrick E. O. Toye 氏と協力して、グリフィス天文台にある New California Republic の基地と Vault 4 の食堂の一部をブロック アウトし、撮影する内容の空間的背景を把握しました。LED ボリュームの効果を最大限に活用するということは、プレビズ パスでは通常確認できないシーン (セリフのシーンなど) を視覚化することを意味します。なぜなら、そうすることで、ストーリーの空想上の要素を確実にフレームに収めることができるからです。Lucy と Maximus は、ピクニック テーブルで食事をしているだけではなく、巨大な地下原子力貯蔵庫の中にいるのです。この映像は、その奇抜なストーリーを裏付けるものである必要があります。
ボリュームでの制作期間中、オンセット プロデューサーである Billy Bonifeld 氏と Devon Hubner 氏は、私たちが現場のすべてのチームと緊密に連携できるよう配慮してくれました。Unreal からステージ上の 150 台以上の ARRI スカイパネルに DMX ライティングを供給する際、Magnopus のクリエイティブ テクノロジスト、Addison Herr は、その照明出力をガファー チームのディミング ボードのオペレーターと構築し、統合しました。
私たちは、極端なアングルでの撮影時にボリュームの隙間を埋めるために、完全に連結された LED ワイルド ウォールを用意しました。Magnopus のバーチャル プロダクション メカトロニクス エンジニアの Fabian Flores とバーチャル プロダクション ハードウェア エンジニアの Julio Salcedo は、グリップ部門と協力して、機材をどこでどのように展開すれば安全であるかを検討しました。また、Vertibird のコックピットに使用されているプレキシガラスが、発光するコンテンツの前で撮影されたときに歪みやアーティファクトを生じないように、建設チームと協力しました。
私たちは、VFX、アート、照明部門と緊密に連携し、可能な限り忠実度の高い環境を実現しました。Magnopus のオンセット VAD アーティスト (Sarah Hudson Semple、Sidney Olluyn、Tony Kwok、Kellie Brewart、Liesbet Segaert、Hugh D. McCullom、Lisa Barber) とともに LED ウォールのコンテンツを確認した後、バーチャル プロダクション プロデューサーの Gabriel Blake 氏と Andrés Martinez 氏がコンテンツを調整しました。部門長やアート、VFX、照明の責任者とコンテンツ レビューを実施し、環境の進捗状況と、きわめて高度な忠実度を確実に達成するためにサポートが必要な箇所について全員が同じ認識を持っていることを確認しました。
セットの構成要素、環境、アセットの LIDAR データおよびスキャン データを共有している VFX を駆使した最終イメージがウォールに映し出されるようするために、各チームが大きく貢献しました。Ann Bartek 氏 (ボリューム内セットの専任アート ディレクター) は、バーチャル セットの構成要素を一致させることができるように、実際のセットの構成要素の正確な素材、色、テクスチャを提供しました。
撮影日には、Magnopus のバーチャル プロダクション スーパーバイザーがエピソード ディレクターと調整し、指定方向での撮影に向けて LED ウォールを準備しました。カメラのセットとトラッキングが完了すると、Unreal のオペレーターが、ウォールにレンダリングする際にどのカメラの視点を優先するかを決定し、カメラ部門と協力して、錐台のオーバーラップを最小限に抑え、トラッキングの忠実度を最大化する視点を探しました。
たとえば、私たちはステディカムのオペレーターと協力し、トラッキング デバイスがショットの邪魔にならないような取り付け位置を見つけると同時に、送られてくるデータがクリーンで正確であることを確認しました。All Of It Now の Berto Mora 氏とその優れた Unreal チームは、カメラ部門とグリップ部門に加わり、問題が発生すると、問題解決に取り組みました。
Magnopus のバーチャル ガファーの Devon Mathis も、ボリューム DP (撮影監督) の Bruce McCleery 氏やエピソード DP と協力して、LED の nit 値、ホワイトバランス、明度を調整し、ショットごとに他のシーンとのバランスを取りました。これはプリプロダクション段階で行われた作業に基づいて行われました。この作業では、照明チームが Unreal を使用してそれぞれのライティングのセットアップがそれぞれの環境でどのように見えるかを視覚化し、ライティングの実際の変遷を計画しました。
各エピソードの DP と一緒に作業できるように、専属のボリューム DP を配置したことにはどのようなメリットがあったのでしょうか？
Bruce McCleery 氏は、Vault 4、グリフィス天文台、Vertibird のセットで ICVFX 作業を担当した専属のボリューム DP でした。このような優秀な専属 DP が、ライティング前の期間でコンテンツを調整し、Magnopus のバーチャル ガファーの Devon Mathis と協力し、プロダクションを推進してくれたことは、素晴らしい結果に直接つながる非常にポジティブな経験でした。今後、大規模な ICVFX プロダクション、特にスケジュールがタイトで、多様なスタッフや監督陣が担当するエピソードのプロダクションでは、専任のボリューム DP を配置することをお勧めします。
撮影日には、Magnopus のバーチャル プロダクション スーパーバイザーがエピソード ディレクターと調整し、指定方向での撮影に向けて LED ウォールを準備しました。カメラのセットとトラッキングが完了すると、Unreal のオペレーターが、ウォールにレンダリングする際にどのカメラの視点を優先するかを決定し、カメラ部門と協力して、錐台のオーバーラップを最小限に抑え、トラッキングの忠実度を最大化する視点を探しました。
たとえば、私たちはステディカムのオペレーターと協力し、トラッキング デバイスがショットの邪魔にならないような取り付け位置を見つけると同時に、送られてくるデータがクリーンで正確であることを確認しました。All Of It Now の Berto Mora 氏とその優れた Unreal チームは、カメラ部門とグリップ部門に加わり、問題が発生すると、問題解決に取り組みました。
Magnopus のバーチャル ガファーの Devon Mathis も、ボリューム DP (撮影監督) の Bruce McCleery 氏やエピソード DP と協力して、LED の nit 値、ホワイトバランス、明度を調整し、ショットごとに他のシーンとのバランスを取りました。これはプリプロダクション段階で行われた作業に基づいて行われました。この作業では、照明チームが Unreal を使用してそれぞれのライティングのセットアップがそれぞれの環境でどのように見えるかを視覚化し、ライティングの実際の変遷を計画しました。
各エピソードの DP と一緒に作業できるように、専属のボリューム DP を配置したことにはどのようなメリットがあったのでしょうか？
Bruce McCleery 氏は、Vault 4、グリフィス天文台、Vertibird のセットで ICVFX 作業を担当した専属のボリューム DP でした。このような優秀な専属 DP が、ライティング前の期間でコンテンツを調整し、Magnopus のバーチャル ガファーの Devon Mathis と協力し、プロダクションを推進してくれたことは、素晴らしい結果に直接つながる非常にポジティブな経験でした。今後、大規模な ICVFX プロダクション、特にスケジュールがタイトで、多様なスタッフや監督陣が担当するエピソードのプロダクションでは、専任のボリューム DP を配置することをお勧めします。
また、エピソード後半を担当する素晴らしいプロデューサー、Margot Lulick 氏の多大なサポートにも恵まれました。Lulick 氏は、撮影の LED 部分に適切な注意が払われるように取り計らってくれました。ICVFX はプロダクション チームの大部分にとって未知の領域でしたが、 Margot と Lulick 氏のチームは、ボリュームの最良の部分をクリエイティブに活用し、ボリュームの中で効率的に撮影するためのプロセスについて学ぶことに時間を費やしました。
VFX ツールとして、またストーリーの一部として、本作において、LED ボリュームが、どのような独自の役割を果たしているかお聞かせください。
このシリーズでは、テレソニック プロジェクターがネブラスカ州のトウモロコシ畑の風景を Vault 内でシミュレートしているので、LED ボリュームは技術的なツールとして、またストーリー上のポイントとしても使われています。このため、Jonathan Nolan 氏と制作総指揮者は、ショットの途中で時刻を変えるというアイデアを楽しみながら、試してみることができました。
VFX ツールとして、またストーリーの一部として、本作において、LED ボリュームが、どのような独自の役割を果たしているかお聞かせください。
このシリーズでは、テレソニック プロジェクターがネブラスカ州のトウモロコシ畑の風景を Vault 内でシミュレートしているので、LED ボリュームは技術的なツールとして、またストーリー上のポイントとしても使われています。このため、Jonathan Nolan 氏と制作総指揮者は、ショットの途中で時刻を変えるというアイデアを楽しみながら、試してみることができました。
トウモロコシ畑での結婚式のシーンでは、夕暮れから夜への変化を示す監督官のセリフがあり、ショットの途中で月の出をアニメートしました。また、Vault 33 と地上の住人たちとの戦いの際は、ウォールの美しい FX 要素でいろいろと試行錯誤することもできました。プロジェクターが銃撃を受ける場面では、Magnopus の Justin Dykhouse と Daniel Naulin の Houdini チームが、最終的に画面全体を覆い尽くす、フィルムが燃えるエフェクトを作り上げました。
フィルムが燃えている様子を撮影し、50 年代のフィルムの種類とその特徴的な燃焼パターンについてオンライン リサーチを行い、徐々に Vault の 3 つのウォールすべてに広がる圧倒されるような効果を作り出しました。このエフェクトを作成する際に、オンセット環境のニーズがビデオ ゲームのエフェクトを作成するのと似ていることに気づきました。つまり、ある状態から別の状態への移行が、あらかじめ決められているものの、クリエイティブで柔軟なタイミングで発生するようにしたいと考えたのです。
このようにして、制作はリニア FX 要素の厳密なタイミングに戻されることなく、俳優の演技をベースにしたキューに反応することができました。これは、Unreal で作業したからこそもたらされたユニークな機会でした。
フィルムが燃えている様子を撮影し、50 年代のフィルムの種類とその特徴的な燃焼パターンについてオンライン リサーチを行い、徐々に Vault の 3 つのウォールすべてに広がる圧倒されるような効果を作り出しました。このエフェクトを作成する際に、オンセット環境のニーズがビデオ ゲームのエフェクトを作成するのと似ていることに気づきました。つまり、ある状態から別の状態への移行が、あらかじめ決められているものの、クリエイティブで柔軟なタイミングで発生するようにしたいと考えたのです。
このようにして、制作はリニア FX 要素の厳密なタイミングに戻されることなく、俳優の演技をベースにしたキューに反応することができました。これは、Unreal で作業したからこそもたらされたユニークな機会でした。
リアルタイム 3D での作業は、なぜこの制作に不可欠だったのでしょうか？
Unreal には柔軟性があり、プリプロダクションの段階で、チームが創造的にセットを変更することができました。このプロダクション チームとは以前に一緒に仕事をしていたこともあり、私たちは、撮影現場では柔軟性が必要で、必要に応じてライティングやセット デザインを土壇場で変更できる必要があるということを理解していました。
実際、Vault のドアのセットを撮影していた際は、Lucy がエレベーターから出てくるショットの最中にライトが点灯して「環境が明らかになる」というアイデアが私たちチームに伝えられました。Magnopus の VAD リードの Devon Mathis とルックデベロップメント/ライティング スーパーバイザーの Jeremy Vickery は、すぐにプランを思いつき、昼食前にその解決策を新しいレベルに組み込み、そのレベルをセットにロードして、シーンのオープニング ショットの撮影に使用しました。これは、ショットの途中で動的にライティングに変化を加えることもできます。こういったことは、プリレンダリングされたコンテンツでは決して行うことはできません。
Unreal には柔軟性があり、プリプロダクションの段階で、チームが創造的にセットを変更することができました。このプロダクション チームとは以前に一緒に仕事をしていたこともあり、私たちは、撮影現場では柔軟性が必要で、必要に応じてライティングやセット デザインを土壇場で変更できる必要があるということを理解していました。
実際、Vault のドアのセットを撮影していた際は、Lucy がエレベーターから出てくるショットの最中にライトが点灯して「環境が明らかになる」というアイデアが私たちチームに伝えられました。Magnopus の VAD リードの Devon Mathis とルックデベロップメント/ライティング スーパーバイザーの Jeremy Vickery は、すぐにプランを思いつき、昼食前にその解決策を新しいレベルに組み込み、そのレベルをセットにロードして、シーンのオープニング ショットの撮影に使用しました。これは、ショットの途中で動的にライティングに変化を加えることもできます。こういったことは、プリレンダリングされたコンテンツでは決して行うことはできません。
同様に、撮影の最終日に、プロダクションから最終エピソードのポスト クレジットのティーザーを撮影する機会がもたらされました。環境ライト ミキサーを使用して、砂漠をさまようパワー アーマースーツ姿の監督官 Hank に照明をあて、撮影するシンプルなレベルをすぐに作成しました。システムの柔軟性により、10 分以内にシーンを構築し、壁にロードすることができました。
撮影日の計画やスケジュールを立てる上で、Unreal Engine はどのような役割を果たしましたか？
撮影前には、スケジュールが許す限り何度もプリライトを行いました。その日は、LED ウォールの出力をセット ライティングで調整し、本作のカメラ本体とフィルム ストックを使用して結果を撮影しました。これらのテストは、カメラの露出と Unreal の手動露出ツールを使用してブラケットで調整しました。
これらのテストの結果、デジタル リファレンス カメラとフィルム ストックの同期がどの時点で崩れるかを測定し、さまざまなライティング シナリオですべての要素を最適な状態に保つためにどのような調整を行えばよいかを把握することができました。こういった作業では、Unreal の Lumen を使用することで、撮影現場での実際のライティングと同じように、仮想ライティングを使用することができました。通常であれば、異なるライト ベイクで複数のレベルが必要になるところを、リアルタイムで行うことができました。
さらに、リアルタイムのセットを使用することで、開発のごく初期の段階で、フレーミング、ライティング、アクション ブロックについて映像制作者がクリエイティブな決断を下す機会を十分に得ることができました。また、大型機材がどのようにセットに入ってくるか、また、どのように演出できるかを視覚化することで、AD が撮影日のスケジュールを立てるうえでも役立ちました。
トウモロコシ畑の中にある Vault 33 の農場のセットは、左右対称になるように設計されており、別の方向を撮影するために「向きを変える」必要があった際にも、移動する必要があったセットは数個だけでした。実際には、環境を 180 度回転させて、Vault 自体に戻って撮影しました。LED ウォールの制作期間中、稼働率は 99% で、9 分の遅延が 1 回発生しただけでした。これにより、番組制作者や AD は、Magnopus、Fuse、All of it Now (すべて Unreal Engine のサービス パートナー企業) のクルーが対応できると確信し、ボリュームの撮影を積極的にスケジュールすることができました。
このプロジェクトに携わった Magnopus のチームの規模と、Unreal Engine で作業を行ったアーティストの人数を教えてください。
Magnopus のクルーは、フル シーズンの制作を通じて、37 名が制作に携わりました。19 名のアーティストがバーチャル セットを制作し、7 名のオペレーターが LED ウォールで Unreal nDisplay システムを運用し、カメラ トラッキングを統合し、ライティング システムの DMX データをプログラムしました。チームのその他のメンバーは、ソフトウェア エンジニア、クリエイティブ ディレクション、制作監督で、全員が Unreal を使用していました。
撮影日の計画やスケジュールを立てる上で、Unreal Engine はどのような役割を果たしましたか？
撮影前には、スケジュールが許す限り何度もプリライトを行いました。その日は、LED ウォールの出力をセット ライティングで調整し、本作のカメラ本体とフィルム ストックを使用して結果を撮影しました。これらのテストは、カメラの露出と Unreal の手動露出ツールを使用してブラケットで調整しました。
これらのテストの結果、デジタル リファレンス カメラとフィルム ストックの同期がどの時点で崩れるかを測定し、さまざまなライティング シナリオですべての要素を最適な状態に保つためにどのような調整を行えばよいかを把握することができました。こういった作業では、Unreal の Lumen を使用することで、撮影現場での実際のライティングと同じように、仮想ライティングを使用することができました。通常であれば、異なるライト ベイクで複数のレベルが必要になるところを、リアルタイムで行うことができました。
さらに、リアルタイムのセットを使用することで、開発のごく初期の段階で、フレーミング、ライティング、アクション ブロックについて映像制作者がクリエイティブな決断を下す機会を十分に得ることができました。また、大型機材がどのようにセットに入ってくるか、また、どのように演出できるかを視覚化することで、AD が撮影日のスケジュールを立てるうえでも役立ちました。
トウモロコシ畑の中にある Vault 33 の農場のセットは、左右対称になるように設計されており、別の方向を撮影するために「向きを変える」必要があった際にも、移動する必要があったセットは数個だけでした。実際には、環境を 180 度回転させて、Vault 自体に戻って撮影しました。LED ウォールの制作期間中、稼働率は 99% で、9 分の遅延が 1 回発生しただけでした。これにより、番組制作者や AD は、Magnopus、Fuse、All of it Now (すべて Unreal Engine のサービス パートナー企業) のクルーが対応できると確信し、ボリュームの撮影を積極的にスケジュールすることができました。
このプロジェクトに携わった Magnopus のチームの規模と、Unreal Engine で作業を行ったアーティストの人数を教えてください。
Magnopus のクルーは、フル シーズンの制作を通じて、37 名が制作に携わりました。19 名のアーティストがバーチャル セットを制作し、7 名のオペレーターが LED ウォールで Unreal nDisplay システムを運用し、カメラ トラッキングを統合し、ライティング システムの DMX データをプログラムしました。チームのその他のメンバーは、ソフトウェア エンジニア、クリエイティブ ディレクション、制作監督で、全員が Unreal を使用していました。
本作を実現する上で、特に必要不可欠だった Unreal Engine の機能はありますか？
Lumen です。Fallout をまとめあげた Unreal の最も重要な機能です。ベイク済みライティングから移行してからは、オンセットのダウンタイムが大幅に短縮され、DP によってリアルタイムでライティングの変更をイテレートすることができ、クリエイティブ レビューの有効性がさらに高まりました。
Lumen です。Fallout をまとめあげた Unreal の最も重要な機能です。ベイク済みライティングから移行してからは、オンセットのダウンタイムが大幅に短縮され、DP によってリアルタイムでライティングの変更をイテレートすることができ、クリエイティブ レビューの有効性がさらに高まりました。
映画とテレビでの Unreal Engine の活用方法を確認する
魅力的なキャラクターを作成します。語られていないストーリーを紡ぎましょう。または、まったく新しいワールドをオーディエンス自身に探索してもらうこともできます。Unreal Engine を使用すれば、制作プロセス全体をかつてないほどクリエイティブにコントロールすることができます。
ICVFX
Unreal Engine 5.5 がリリースされました
このリリースでは、アニメーション オーサリング、レンダリング、バーチャル プロダクション、モバイル ゲーム開発、開発者イテレーション ツールセットなどが大幅に強化されています。
機能
Epic の新しい統合コンテンツ マーケットプレイス、Fab が本日リリース！
本日、Epic は、デジタル アセットの検索、購入、販売、共有をすべてワンストップで行うことができる Fab をリリースしました。この新しいマーケットプレイスは、Unreal Engine、Unity 3D、UEFN、その他のデジタル コンテンツ作成ツールで使用できるコンテンツを提供し、あらゆるタイプのクリエイターを支援します。
映画＆テレビ
Unreal Fest Seattle 2024 で発表されたすべての重大ニュースをキャッチ アップ
Epic Games が Unreal Fest Seattle 2024 で発表した、Epic Games Store での Unreal Engine のロイヤリティの減額、UE 5.5 の新機能、UEFN へのティーンエイジ・ミュータント・ニンジャ・タートルズの登場などに関する情報をご覧ください。