恐竜とロボットが対決する Armored Saurus にリアルタイム レンダリングを活用
2022年3月23日
2013年に設立された Studio EON は革新的な映像制作メソッドとトップクラスの映像プロフェッショナルによる経験を併せ持つ韓国の会社です。リアルタイム パイプラインを拡充し、50人以上の Unreal Engine アーティストを雇用しています。
巨大な恐竜と地球外ロボットの対決が見られるのは、子どもにとって夢のような話です。この恐竜たちに最先端のメカ スーツを着せれば、人気テレビ番組の出来上がりです。Studio EON と Daewon Media が制作した韓国のアニメーション シリーズ Armored Saurus は、予告編が昨年公開されて以来、子どもだけでなく大人の想像力も刺激しています。
アニメーション制作にリアルタイム テクノロジーを取り入れるスタジオの 1 つとして、Studio EON は Unreal Engine を利用して、高忠実度の CG と役者の実写映像を組み合わせ、その過程で数々の革新的なパイプライン ツールを新たに開発しました。Studio EON のプランニングおよびプロダクション担当ディレクターを務める Dae-Sik Jung 氏に詳しく話を聞きました。
Armored Saurus は、昨年 11 月に初めてテレビ放送されてから、人気が高まっています。このシリーズをまだ知らない人のために、内容を簡単に紹介していただけますか。
Studio EON は、YouTube で人気のアニメーション シリーズ Kongsuni and Friends や Eon Kid の企画、演出、制作に関わったアーティストが立ち上げたバーチャル プロダクション スタジオです。Eon Kid については、米国のテレビ放送で最高視聴率を記録したこともあります。Armored Saurus は企画に 3 年かけたあと、2017 年にプリプロダクションを開始しました。Armored Saurus には現在、専用の YouTube チャンネル Armored Saurus TV がありますが、予告編やメイキングは当初、Daewon Media の YouTube チャンネルで公開していました。再生回数は 3 週間で 100 万回を超え、視聴者の反響は大きく、メディアでも何回か取り上げられました。
このシリーズは、実際のセットやロケーションで撮影されたものではなく、Unreal Engine でバーチャル プロダクション ワークフローを使用して、CG の背景に役者をリアルタイムで合成するという手法で制作されたということが注目を浴びました。この手法を通じて、私たちは Unreal Engine が制作プロセスの質と効率の向上、また予算管理や視聴者の開拓などビジネス上の目標に役立つことを学びました。
子ども向けテレビ番組の全体的な制作パイプラインと最終的なレンダリングに Unreal Engine が選ばれたのはなぜでしょうか。
Unreal Engine に最初に出会ったのは 2014 年でした。さまざまなテストを行ったあと、2016 年に映像制作に Unreal Engine を導入し始めました。ほかのリアルタイム レンダリング エンジンも検討しましたが、最終的に Unreal Engine を選んだのは、私たちの作業に与えるメリットが大きそうだったからです。最初の予告編への反響が大きかったことを考えると、この選択は間違っていなかったようです。また、Unreal Engine は現在、OTT やテレビのチャンネルを含む多数のプラットフォームで映画やアニメーションなどのプロジェクトに使われているので、Unreal Engine の導入はトレンドに乗っていたとも言えます。
御社の先進的な判断が多くのイノベーションにつながりました (詳細は後述)。イノベーションの過程で困難にぶつかることはありましたか。
Unreal Engine のテストの初期段階では、主にビデオ ゲーム業界から Unreal Engine に慣れている人を集めてチームを結成し、映像を制作しようとしました。しかし、その結果は期待に達しませんでした。何度か試行を重ねると、その理由が明らかになりました。一般に、ゲームはテレビやモニター サイズの画面にリアルタイムでレンダリングされるものです。このため、ビジュアルの問題の多くは、比較的ローポリゴンの表面の法線ベクトルを変更するか、色のレンダリングをスムーズにするだけで適切に対処できます。しかし、映像の制作手法には大きな違いがあり、大画面で表示できるようアセットを高画質でレンダリングできる必要がありました。このため、映像制作の経験があり、従来の制作手法を知っている Unreal Engine アーティストにトレーニングを行うほうが効率的だと判断しました。この数年間で獲得できた優秀な Unreal Engine アーティストは 50 人を超えました。
チームとパイプライン全体に Unreal Engine を導入されました。このエンジンを選んだことで、どのようなメリットが得られましたか。
まず、Unreal Engine を使って強固なパイプラインを築けたことは、会社にとって大きな財産となっています。Armored Saurus は、子ども向けコンテンツを低予算で制作するプロジェクトだったため、フル CG のシーンが大量に必要でした。Unreal Engine アーティストをトレーニングし、パイプラインの各段階に適切に配置することで、効率的なパイプラインを築き、それによりプロジェクトを成功させることができました。
別のメリットとして、物理ベースのリアルタイム レンダリング テクノロジーがあります。Unreal Engine の物理ベース レンダリングは、現実を再現したイメージを任意のライティング環境で表現できるため、バーチャルの背景と現実のキャラクターを同じ画面にシームレスに表示する必要があるバーチャル プロダクションに適切なツールでした。
Unreal Engine のリアルタイム レンダリング機能は、フル CG のアニメーション シーンの制作に有効だとわかりました。レイアウトにキー アニメーションを加えるだけで、そのレイアウトを最終的な映像として使用できました。さらに、最終的な映像として、アニメーション サイクルを使用するか、既存のキー アニメーションのレイアウトを再利用できることもありました。レイアウトを最終的な映像と同じ画質で扱えることで、フル CG のアニメーション制作パイプラインの効率が大幅に向上しました。
Unreal Engine に最初に出会ったのは 2014 年でした。さまざまなテストを行ったあと、2016 年に映像制作に Unreal Engine を導入し始めました。ほかのリアルタイム レンダリング エンジンも検討しましたが、最終的に Unreal Engine を選んだのは、私たちの作業に与えるメリットが大きそうだったからです。最初の予告編への反響が大きかったことを考えると、この選択は間違っていなかったようです。また、Unreal Engine は現在、OTT やテレビのチャンネルを含む多数のプラットフォームで映画やアニメーションなどのプロジェクトに使われているので、Unreal Engine の導入はトレンドに乗っていたとも言えます。
御社の先進的な判断が多くのイノベーションにつながりました (詳細は後述)。イノベーションの過程で困難にぶつかることはありましたか。
Unreal Engine のテストの初期段階では、主にビデオ ゲーム業界から Unreal Engine に慣れている人を集めてチームを結成し、映像を制作しようとしました。しかし、その結果は期待に達しませんでした。何度か試行を重ねると、その理由が明らかになりました。一般に、ゲームはテレビやモニター サイズの画面にリアルタイムでレンダリングされるものです。このため、ビジュアルの問題の多くは、比較的ローポリゴンの表面の法線ベクトルを変更するか、色のレンダリングをスムーズにするだけで適切に対処できます。しかし、映像の制作手法には大きな違いがあり、大画面で表示できるようアセットを高画質でレンダリングできる必要がありました。このため、映像制作の経験があり、従来の制作手法を知っている Unreal Engine アーティストにトレーニングを行うほうが効率的だと判断しました。この数年間で獲得できた優秀な Unreal Engine アーティストは 50 人を超えました。
チームとパイプライン全体に Unreal Engine を導入されました。このエンジンを選んだことで、どのようなメリットが得られましたか。
まず、Unreal Engine を使って強固なパイプラインを築けたことは、会社にとって大きな財産となっています。Armored Saurus は、子ども向けコンテンツを低予算で制作するプロジェクトだったため、フル CG のシーンが大量に必要でした。Unreal Engine アーティストをトレーニングし、パイプラインの各段階に適切に配置することで、効率的なパイプラインを築き、それによりプロジェクトを成功させることができました。
別のメリットとして、物理ベースのリアルタイム レンダリング テクノロジーがあります。Unreal Engine の物理ベース レンダリングは、現実を再現したイメージを任意のライティング環境で表現できるため、バーチャルの背景と現実のキャラクターを同じ画面にシームレスに表示する必要があるバーチャル プロダクションに適切なツールでした。
Unreal Engine のリアルタイム レンダリング機能は、フル CG のアニメーション シーンの制作に有効だとわかりました。レイアウトにキー アニメーションを加えるだけで、そのレイアウトを最終的な映像として使用できました。さらに、最終的な映像として、アニメーション サイクルを使用するか、既存のキー アニメーションのレイアウトを再利用できることもありました。レイアウトを最終的な映像と同じ画質で扱えることで、フル CG のアニメーション制作パイプラインの効率が大幅に向上しました。
加えて、Unreal Engine では、制作パイプラインの改善も簡単でした。新バージョンがリリースされるたびにユーザーが求めていた機能が追加されましたが、Unreal Engine は全ソースコードを無料で提供しているため、新機能が途中で追加された場合にも、それらを最大限に活用できました。機能やプラグインを開発できる柔軟性も、パイプラインの構築において大いに役立ちました。
御社で開発したプラグインについて教えていただけますか。
最初に Layer Exporter というプラグインを紹介します。Unreal Engine では通常はディファード レンダリング方式が使われるため、多くのイメージ バッファを Unreal Editor のバッファ視覚化メニューから表示、制作できます。Unreal Engine 4.26 から加わった Cryptomatte 出力機能は、Armored Saurus の制作時にはサポートされていませんでした。そこで私たちは、アーティストが必要なイメージ バッファを簡単に取得できるよう、カスタム ステンシル バッファ (下図を参照) を使用して別個のプラグインを開発しました。Layer Exporter プラグインを使用すると、誰でも必要なバッファを生成し、作業効率を大幅に高めることができます。
御社で開発したプラグインについて教えていただけますか。
最初に Layer Exporter というプラグインを紹介します。Unreal Engine では通常はディファード レンダリング方式が使われるため、多くのイメージ バッファを Unreal Editor のバッファ視覚化メニューから表示、制作できます。Unreal Engine 4.26 から加わった Cryptomatte 出力機能は、Armored Saurus の制作時にはサポートされていませんでした。そこで私たちは、アーティストが必要なイメージ バッファを簡単に取得できるよう、カスタム ステンシル バッファ (下図を参照) を使用して別個のプラグインを開発しました。Layer Exporter プラグインを使用すると、誰でも必要なバッファを生成し、作業効率を大幅に高めることができます。
Layer Exporter プラグインと出力の例
また、Unreal Engine を使用してプロジェクトのほとんどの映像をレンダリングするには、大量のシーケンサー ファイルの作成とレンダリングが必要でした。そこで Studio EON は Batch Render Manager を開発しました。これは、Unreal Python と外部の PyQt パッケージを使用して、複数のシーケンサー ファイルを一括でレンダリングしながら、必要なレンダリング レイヤーだけを選んで生成できる機能です。多くのシーケンスをレンダリングする場合、ファイルを開き、レンダリングするだけで時間がかかるため、このプロセスを短縮できる Batch Render Manager 機能は、アーティストの効率を高めるのに大いに役立ちました。
Batch Render Manager の実行例
Armored Saurus で特に便利だった Unreal Engine の機能は何ですか。
便利な機能はたくさんありましたが、ここではいくつか挙げます。ブループリントを使用すると、プログラミングの知識がないアーティストでも必要な機能を作成、利用できました。また、Camera アクタや Camera Rig Rail などのシネマティック カメラ ツールにより、シーンを映画のように表現できました。
最も便利な機能はシーケンサーでした。シーケンサーに含まれる特殊なマルチトラック エディタにより、ゲーム内シネマティクスを作成できました。これはフル CG のアニメーション作品では画期的なことでした。モーション ブラーをリアルタイムでチェックし、すぐにカメラの動きを修正できたため、Armored Saurus プロジェクトの見せ場である、鎧をつけた恐竜の対決シーンで動的な制作が可能になりました。リアルタイムでフォーカスを切り替えられたのも非常に便利でした。
また、リアルタイムのレイ トレーシングにより、以前なら Maya で行わなければならなかった最終調整の追加作業が Unreal Engine で可能になり、エンジン内でまとめて作業ができるようになりました。プロジェクトにはフォトリアルなイメージが求められたため、精細なシャドウや反射など、リアルな表現は不可欠でした。レイ トレーシングを使用することで、全体的な質を高めることができました。
便利な機能はたくさんありましたが、ここではいくつか挙げます。ブループリントを使用すると、プログラミングの知識がないアーティストでも必要な機能を作成、利用できました。また、Camera アクタや Camera Rig Rail などのシネマティック カメラ ツールにより、シーンを映画のように表現できました。
最も便利な機能はシーケンサーでした。シーケンサーに含まれる特殊なマルチトラック エディタにより、ゲーム内シネマティクスを作成できました。これはフル CG のアニメーション作品では画期的なことでした。モーション ブラーをリアルタイムでチェックし、すぐにカメラの動きを修正できたため、Armored Saurus プロジェクトの見せ場である、鎧をつけた恐竜の対決シーンで動的な制作が可能になりました。リアルタイムでフォーカスを切り替えられたのも非常に便利でした。
また、リアルタイムのレイ トレーシングにより、以前なら Maya で行わなければならなかった最終調整の追加作業が Unreal Engine で可能になり、エンジン内でまとめて作業ができるようになりました。プロジェクトにはフォトリアルなイメージが求められたため、精細なシャドウや反射など、リアルな表現は不可欠でした。レイ トレーシングを使用することで、全体的な質を高めることができました。
最後に、私たちが Armored Saurus の制作を完了できた要因の 1 つとなったのは、Live Link を使用して、実際のカメラの位置や回転の値をリアルタイムで VCam に適用し、実際のカメラの動きに従ってリアルタイムでレンダリングする背景を撮影できたことでした。結果的にポスト プロダクションでの作業を最小限に抑えることができました。また、撮影シーンのほとんどをバーチャルに制作できたため、セットを組み立てたり、ロケーション撮影に出かけたりする必要がありませんでした。今後は LED ウォールを増やして、もっと革新的なパイプラインを構築するつもりです。
Studio EON から最先端の制作パイプラインを見せていただくのが楽しみです。Unreal Engine についての今後の目標やビジョンを教えていただけますか。
Studio EON から最先端の制作パイプラインを見せていただくのが楽しみです。Unreal Engine についての今後の目標やビジョンを教えていただけますか。
Unreal Engine は継続的にアップデートされ、映像制作に必要なさまざまな優れた機能が追加されているため、リアルタイム レンダリングを使ったバーチャル プロダクションに重要なツールと位置づけられます。
すでに述べたとおり、Unreal Engine はこれまでの映像制作の枠組みを大きく変えて、カメラマン、監督、役者にとって効率的な制作環境を生み出しました。Unreal Engine とカメラ トラッキング装置をリンクさせることで、撮影を進めながら CG の背景を確認し、変更をすぐに適用できます。
これまでのプリビジュアライゼーションのワークフローでは、画面の大まかなレイアウトしか確認できませんでした。Unreal Engine なら、最終的な映像をその場でリアルタイムで確認できるため、新しい革新的な作業方法が可能です。このテクノロジーのおかげで、Studio EON は 52 エピソードのプロジェクトを完成させ、継続的な研究開発の取り組み、数々の試行錯誤を経て、Unreal Engine を使った制作の経験を積むことができました。その後は、その経験と知識を生かして、Unreal Engine を使うさまざまなプロジェクトに取り組んでいます。
すでに述べたとおり、Unreal Engine はこれまでの映像制作の枠組みを大きく変えて、カメラマン、監督、役者にとって効率的な制作環境を生み出しました。Unreal Engine とカメラ トラッキング装置をリンクさせることで、撮影を進めながら CG の背景を確認し、変更をすぐに適用できます。
これまでのプリビジュアライゼーションのワークフローでは、画面の大まかなレイアウトしか確認できませんでした。Unreal Engine なら、最終的な映像をその場でリアルタイムで確認できるため、新しい革新的な作業方法が可能です。このテクノロジーのおかげで、Studio EON は 52 エピソードのプロジェクトを完成させ、継続的な研究開発の取り組み、数々の試行錯誤を経て、Unreal Engine を使った制作の経験を積むことができました。その後は、その経験と知識を生かして、Unreal Engine を使うさまざまなプロジェクトに取り組んでいます。
その一方で、目前に迫ったメタバース時代への準備も進めています。バーチャル コンサート プロジェクト V DIUM (バーチャル スタジアム) では、バーチャル パフォーマンス用のステージとスタジアム全体を、Unreal Engine を使用して、CJ ENM のコンベンション ライブ ビジネス部門と共同で開発しています。
さらに、インタラクティブな VR/XR コンテンツやバーチャル インフルエンサーを開発し、デジタル キャラクター、生身の役者、デジタル セット、実際のロケーションを組み合わせた新しいハイブリッド IP を計画しています。Unreal Engine は現代の映像業界、テレビ業界に不可欠なツールであり、今後もそのような存在であり続けるでしょう。Studio EON も、Unreal Engine の経験や知識により、業界に欠かすことのできないバーチャル スタジオになれると信じています。
さらに、インタラクティブな VR/XR コンテンツやバーチャル インフルエンサーを開発し、デジタル キャラクター、生身の役者、デジタル セット、実際のロケーションを組み合わせた新しいハイブリッド IP を計画しています。Unreal Engine は現代の映像業界、テレビ業界に不可欠なツールであり、今後もそのような存在であり続けるでしょう。Studio EON も、Unreal Engine の経験や知識により、業界に欠かすことのできないバーチャル スタジオになれると信じています。
バーチャル コンサート V DIUM (バーチャル スタジアム) のステージとスタジアム
今すぐ Unreal Engine を入手しましょう。
世界で最もオープンで高度な制作ツールを手に入れましょう。
Unreal Engine は、すべての機能がすぐに使える状態で、すべてのソース コードにアクセスできます。
Unreal Engine は、すべての機能がすぐに使える状態で、すべてのソース コードにアクセスできます。