NEP のシニア アンリアル エンジニア、Roel Bartstra 氏に、お話を伺いました。
NEP The Netherlands でアンリアル エンジンを使い始めたのはいつですか？
NEP で初めてアンリアル エンジンを使ったプロジェクトは、2 年前、私が入社する前のものです。チームでアンリアルを使用して、地域のゲーム ショー『I Bet That I Can Do It』のために、拡張現実を活用したバーチャル セットを作成しました。そのプロジェクトのあと、NEP は、ハードウェア、ソフトウェア、人材、研究開発への大規模な投資を行うことを決めました。
放送のプロダクションにおける拡張現実とはどのようなものですか？
たとえば、空間が限られていたり、使いたいスタジオが埋まってしまっていたりする場合に、物理的には作れないものを作って価値をもたらします。お客様が放送によく使うバーチャル セットは、グリーン スクリーンを利用するもので、場所をあまりとりません。バーチャル セットを拡張する要望をいただくこともあります。物理的に作ったセットやセットの一部を前面に出して、拡張するためのグラフィックスやプロップをカメラの背後に置きます。物理的なプロップがまったくない状態で、出演者の前後にあるものすべてが CG という場合もあります。
動的に生成されるリアルタイムのグラフィックスと出演者がやり取りできることから、プロダクションにおいては、これは「拡張現実」と呼ばれます。アンリアル エンジンで、こうした画像を作り出しています。生放送に利用することもよくあります。データに基づいてグラフィックスを作成することもできるため、ニュースやスポーツのスタッツに応じて、コンテンツをリアルタイムで更新できます。そのような仕組みは、Eurosport での冬季オリンピックの放送や、Liberty Global の Ziggo Sport による F1 の番組などでよく使われました。ほかにも、バーチャル セットを使った番組を準備し、物理的なセットの環境では不可能なものを作り出そうとしているお客様がいらっしゃいます。
ほかの制作会社向けのサービスを提供していますか？ 既存のプロダクション チームまたはグラフィックス チームと連携しますか？それはお客様によります。マルチカム業務に付け加えるものとして扱うかもしれませんし、グラフィックスの包括的なマネージド サービスを別個に提供することもできます。デザインの段階から関与することもあれば、すでに存在するデザインの実現に取り組み、その方法を見付け出すこともあります。お客様の多くは、番組の見た目のアイデアをレイトレーシングした画像で提案することに慣れています。そのような場合は、アンリアル エンジン 4 でそのアイデアをリアルタイムで実現するための仕事をします。
NEP では、なぜ AR に投資することにしたのですか？
AR は放送分野におけるバーチャル セットを利用した動的なプロダクションの将来像になり得ると考えたのは、NEP The Netherlands のマネージング ディレクター、Ralf van Vegten です。
私のバックグラウンドはゲーム業界にあります。アンリアル エンジンを使い始めたのは 15 年前で、ゲームのレベル デザインや、Unreal Tournament の mod 作成を行っていました。NEP には 2 年ほど前に入社しました。アンリアル エンジン チームを拡大し、ゲーム業界で培ったノウハウを放送における現在のニーズへの対応に役立てることに取り組んでいます。
初めのうちは、一定の技術的な専門知識とカスタム開発が必要であり、AR の利用には非常に高いコストがかかりました。しかし、NEP では、人材とテクノロジーへの大規模な投資を進め、放送分野でのプロダクションにおける AR の費用対効果を改善しようとしています。手法の修正と改善、プロダクションのどの側面を AR で置き換えられるかについての調査、プロセスの実用性の向上に、引き続き取り組んでいます。
アンリアル エンジンを使用すると、グラフィックスは現実のようにリアルになります。物理的なセットを構築する代わりに、スタジオ全体を AR を使ったものに置き換えることができます。これまでのところ、お客様には結果について非常にご満足いただいています。AR を使った番組を月に 1 本作るところから始めて、今では常に並行して 4、5 本を制作しています。毎週 1、2 本は生放送されています。
アンリアル エンジン専門のチームをどのように運営されているのですか？アンリアル エンジンによって、現実のようにリアルなグラフィックスを高いフレーム レートで作成できるようになりました。毎秒 50 フレームで放送しているので、フレーム レートは重要です。ほかのゲーム エンジン テクノロジーもテストしましたが、画像の忠実度とリアルタイムのパフォーマンスをアンリアル エンジンと同レベルで達成できるものはありませんでした。また、アンリアル エンジンには、非常に多くの有効なツールが組み込まれていて、すぐに使い始めやすくなっています。当社のパートナー、Zero Density のツールともよく連携し、製作上、自分たちの手によってエンジン内でより多くのことができるようになっています。
オフィスの一部をバーチャル スタジオに変えるために必要な投資を、放送会社はどのように管理しているのですか？
それは付加価値の説明にかかっています。AR は、文字通り、考えられることすべてを可能にします。そして、さまざまなセットやプロップなどを使うよりも、費用や効率の面で大幅に優れています。たとえば、Eurosport は、5 × 5 メートルの小さな休憩室を改装して、グリーン スクリーンの小さなステージにしました。天窓を付けて十分な光を取り入れられるようにして、コストを最小限に抑えました。NEP でも、オランダにある既存の複数のスタジオにグリーン ボックス スタジオを作成中です。いろいろな人がそのスタジオを訪れて、（必要なハードウェアとソフトウェアを設定済みの）バーチャル スタジオの設備一式を借りられるようにして、1 回限りの番組のために使えるようにしたいと考えています。
そのような設備にとって重要な機器やソフトウェアには、どのようなものがありますか？それはお客様によって異なります。多くのお客様には、セット内に構築された仮想的なスクリーンに表示されるものを制御するために、当社のスタジオにあるすべてのハードウェアとソフトウェアに加えて、AR カメラのオペレーターとグラフィックスの管理者も提供します。また、アンリアル エンジン内で動作するグラフィックス パッケージをお渡ししてから、同様のシステムをセットアップして運用できるように、お客様の社内のチームにトレーニングを実施します。
最も重要なのは当社のスタッフです。NEP The Netherlands は人材が中心の組織です。チームでは、新しいテクノロジー、ワークフロー、専門分野について、常にトレーニングを行っています。そのように、成長、イノベーション、意欲の促進に取り組んでいるのは、変化の激しいメディア業界では最高レベルの知識が必要だと考えているからです。
御社のアンリアル エンジン チームには、アーティストと技術者、どちらが多いのですか？
その両者が混ざっていると言えます。デザイナーとして業務に取り組んでいる 3D アーティストが何人かいますが、ゲーム業界の出身です。また、テクニカル アーティストが何人かいます。テクニカル アーティストは、モデリングもしますが、主にブループリントのスクリプトやカスタムのマテリアルを作成しています。つまり、現実内での合成、言い換えると、リアルタイムのバーチャル セット環境でモデルを実装するうえでの技術的なすべてのプロセスを担当しています。
顧客のために平均でどのくらいの数のアセットを作成するのですか？番組の性質にもよりますが、小さなスタジオで撮影する小規模なニュース番組であれば、10 から 50 個くらいです。F1 のような番組では、100 個くらいのアセットを作成します。通常は、社内のチームが以前に作成した既存のアセットを合わせて使用するので、番組ごとのアセットはたぶん 1,000 個くらいになるでしょう。
バーチャル セット向けにデジタル アセットを作成する場合と、それ以外のタイプのフォトリアルな CG プロダクション向けに作成する場合とで、気にかける点に違いはありますか？
デジタル アセットを作成する場合は、できるだけ実物らしく見せたいものです。セットがリアルに見えるようにするために、若干の欠陥があるモデルを作るようにしています。たとえば、木材のパネルの間につぎ目を入れたり、境界を少しずらしたりします。あまり完璧にするとかえって本物らしく見えないのです。
放送会社がアンリアル エンジンを受け入れているのは、時間とコストを節約するためでしょうか、それとも番組のビジュアルを柔軟に作成できるようにするためでしょうか？
柔軟性についても取り組んではいますが、一般的にはコストと時間の節約のために導入されています。特に、セットで大量の LED を使う番組では節約につながります。デジタル環境では実質的に無料で LED を作れるので、物理的な LED を使うセットに比べると、仮想的なスクリーンを作るほうがずっと安く済みます。
ゲーム エンジンを利用することで、放送のやり方を変化させられる見込みはありますか？
はい。アンリアル エンジンはバーチャル プロダクションを大きく変えようとしています。バーチャル セットのデザインとアセットをリアルタイムで動的に生成し、繰り返し修正できるようになったため、物理的なセットを構築する必要がなくなりました。スタイルを適用した CG またはフォトリアルな CG をデータに基づいてリアルタイムに生成することからメリットを得られる番組にとって、アンリアル エンジンは革新的なテクノロジーです。これには、ニュース、スポーツ中継、ゲーム ショーなど、生放送を含むさまざまなタイプの番組が該当します。