以前からポスト プロダクションに従事していたアーティストは、Reality Engine のユーザー インターフェイスとアプローチには馴染みがあり、Autodesk のバッチ ツールである Flame に似ていると考えています。Flame とは違うところもあります。Zero Density のバーチャル プロダクション ソリューションは、放送への利用を想定して設計されています。そのためにはフレームが正確である必要があり、フレームをドロップすることは許されません。
ポスト プロダクション ワークフローのように洗練されていて柔軟性があり、放送ソリューションの堅牢さを併せ持つシステムは、かつてないものです。従来、グラフィックス パッケージはフィルとキーのシグナルのみを提供し、基本的な合成をスイッチャーで行うことを想定していました。Zero Density のシステムはずっと強力で、ガンマ、リニア ワークフロー、LUT を理解します。通常はオフライン ソリューションで行うような制御を生放送の環境にもたらします。
ゲーム業界のテクノロジーについて約 2 年にわたり重点的な研究開発を行い、Zero Density のチームは、生放送の厳しい環境への統合に成功しました。できあがった製品を初めて公開したのは 2016 年の National Association of Broadcasting (NAB) のカンファレンスでした。そこで、Unreal Engine の複数のカメラをバーチャル セットにセットアップすることができました。それは画期的なことでした。Zero Density は、Unreal Engine を放送で使用した初めての企業となったのです。数か月後にアムステルダムで開催された International Broadcast Convention (IBC) で、その製品は大きな賞をいくつも獲得しました。
Epic は Unreal Engine のソース コードすべてにアクセスできるようにしているので、Zero Density のコードは Unreal Engine の一部となり、シェーダー コンパイラ、C++、Unreal Engine のクロス プラットフォーム機能を活用することができています。たとえば、Zero Density のソリューションにおいて中心的な役割を果たす Reality Keyer は、実際には GPU コード内のシェーダーとして実装されています。
キーイングの概念化について言えば、Reality Keyer は、Foundry の合成ソリューション Nuke で使われている、高度な Image Based Keyer (IBK) に似ています。Reality Keyer はクリーン プレートに対して使用できます。Reality Keyer をシステムのトラッキング機能と組み合わせると、スタジオのグリーン スクリーン ホリゾントを表現したメッシュを作成できます。3D で表現したものがプログラムによって生成されるため、クリーンなキーイングと動的なガベージ マスキングが可能です。キーイングした最終的な画像がクリーンでリアルなものになり、カメラを動かしてパンやティルトすることもできます。このシステムでは、クリーン プレートのプロジェクション マッピングを行い、キーイングを支援します。標準的な単なるクロマ キーヤーよりもずっと高度な処理を行うことができます。イメージ ベースのリアルタイム キーヤーとしては初めてにして唯一のものであり、高度なクリーン プレート テクノロジーを利用します。これが UE4 内の 1 つのシェーダーとして実装されています。
FOX Sports は 2019 年 2 月に Reality Engine を採用して、そのキーイング テクノロジーを NASCAR Race Hub で幅広く利用しています。 Reality Engine は、業界のさまざまなトラッキング テクノロジーを利用できるようになっています。Zero Density は、主要なソリューションのほとんどからのトラッキング データと、それらのプログラムが提供するレンズ情報を取得できます。レンズ情報を利用できない場合、ソフトウェアは、最後にキャリブレーションした際のズームとフォーカスの情報をまず使用して、それからレンズの曲率や視野角などの特性を推定します。それらの処理すべてが Unreal Engine 内で行われます。
Zero Density は、FOX Sports などの放送局との仕事でよく知られていますが、現在では、子ども向け番組などの TV 番組を制作する企業も顧客に加えつつあります。そうしたプロジェクトでは、グリーン スクリーンを使って撮影を行い、それから録画をリアルタイムで出力して、ただちに最終編集に移ります。従来のオフライン レンダリングやポスト プロダクションでの視覚効果の作業は不要です。
このような番組制作のワークフローでは、ソフトウェアは、最終的な合成結果を出力できるだけでなく、ガベージ マスクなど、各種の重要なレイヤーも出力できます。Zero Density のチームは、将来的にはより高度なものを目指しています。それは、リアルタイムのワークフローをサポートして、さらに追加のデータを出力し、最終的な合成結果全体をあとから調整して再編集できるようにする、というものです。
最近の大きな改善点の 1 つは、NVIDIA RTX グラフィックス カードを使ったリアルタイム レイ トレーシングの追加です。2019 年 4 月の NAB において、Zero Density は、レイ トレーシングが実装された Reality Engine バージョン 2.8 をプレビューしました。バーチャル セットのビデオ スクリーンでセットの関連する部分に反射できるようになり、また、シャドウが改善され、光学関連の多数の強化が加えられました。バージョン 2.8 は 8 月にリリースされました。最新バージョンは 2.9 で、2019 年 9 月の IBC でプレビューされる予定です。
Reality Engine は強力で堅牢なハイエンドのソリューションです。そして、Zero Density は、メインのシステムだけではなく、必要な自動化、モニタリング、制御のインターフェイスも提供しています。システムは複数の Unreal Engine インスタンス上で実行されるように設計されていて、すべてを一元的に制御および管理します。一例を挙げると、芸術と文化を扱うトルコのチャンネル TRT2 は、バーチャル スタジオを使う 7 つの番組を放送し、そのために 3 つの Reality Engine を利用しています。 バーチャル プロダクションへの移行に伴い、Zero Density は、要件の厳しい放送のワークフローが有益なツールを各種の番組に提供でき、要求の厳しさが増すばかりの生放送において複雑なビジュアルを実現できることを示しています。
この記事は Visual Disruptors シリーズの一部です。バーチャル プロダクションのハブで、インタビュー、記事、展望、リソースにアクセスしてください。