Ncam は、バーチャルなセットとグラフィックスをリアルタイムで使うことを可能にする、完全でカスタマイズ可能なプラットフォームを提供しています。その根本に据えられているものは、独自のカメラ トラッキングのためのソリューションです。これによって、バーチャルで拡張されたグラフィック技術が可能となるのです。そしてそのソリューションのためには、カメラに付け加える特別なハードウェアと複雑なソフトウェアが使われています。軽量のセンサーバーがカメラに取り付けられていることによって、環境における位置的な特性をトラッキングできるため、カメラはあらゆる場所を自由に動くことができるようになります。しかも同時に、極めて正確な位置情報、回転やレンズに関する情報を絶え間なく送り出すことができます。これらの情報が Ncam の強力な SDK を介して UE4 のプラグインに送られるのです。
Ncam のこのシステムは、あらゆるタイプの制作に利用できます。たとえば、屋内でも屋外でも使用でき、ワイヤーに取り付けられているカメラや手持ちカメラの機器構成においても使用できます。Ncam の製品は世界中で使用されています。これまでにも、『アクアマン』(ワーナー ブラザース)、『ハン・ソロ/スター・ウォーズ・ストーリー』(ウォルト ディズニー スタジオ)、『デッドプール 2』(マーベル) 、『ゲーム・オブ・スローンズ/シーズン8』(HBO)、第53回スーパーボウル (CBS)、UEFAチャンピオンズリーグ (BT スポーツ)、NFC チャンピオンシップゲーム (FOX スポーツ)、マンデーナイトフットボール (ESPN) の制作で利用されてきました。正確なトラッキングのために特化したハードウェア
Ncam が信頼を置いているのは、カメラに搭載される特別なハードウェアです。これが根本にあります。この小型で軽量なセンサーバーは、複数のセンサーを統合することができます。もっとも目立つのは、ステレオのコンピュータ ビジョンを可能にする 2 つのカメラです。Ncam のハードウェア バー内部にある 12 個の付加的なセンサーはそれほど目立ちません。そこには、加速度計やジャイロスコープが含まれています。これらのセンサーを 2 つのステレオ カメラと一緒に使用することによって、撮影現場のセットを、リアルタイムの 3D ポイントクラウドを使いながら空間的な深度において完全に可視化できるようになります。
このハードウェア ユニットは、レンズに対するさまざまな制御 (たとえば、Prestonのフォローフォーカス) にもアクセスできます。それによって、レンズの位置はどこかとか、レンズは何を捉えているか、フォーカスと視野角の値はどうなっているのか、(重要なこととしては) レンズの前にあるものがすべてどこに位置しているのか、といった情報を得ることができるようになります。小道具やセット、出演者、カメラ、レンズの設定は、すべてリアルタイムにマッピングされ、把握されることになります。これは、UE4 が現実の世界を認識してライブのグラフィック要素や人物、セットを一つのシームレスな制作物に統合できるようになる (しかも UE4 の利用者が目視しつつ) のですから、際立って優秀な方法と言えます。予測的な移動のためのデータ収集
Ncam は当初からさまざまな技術を結合させることに依拠してきました。たとえば、ビジュアル トラッキングや、オドメトリ、慣性航行システム技術などを組み合わせることによって、カメラのトラッキングという問題に対処してきました。ただし、Ncam は単に情報を収集するだけではなく、示唆に富む情報を提供しています。そのデータがソフトウェアによって使われて、予測的な移動として捉えられることになり、堅牢な冗長性が実現されているのです。つまり、カメラがいた位置を把握して、どこに向かっているかを予測することができるのです。カメラからの映像信号のうち有益なものが失われても、ソフトウェアがこれに対処できるのです。たとえば、出演者がステレオ レンズの片方または両方の前に立ってしまっても、システムは、残りの集積されているセンサーデータに基づくことによって、その動作を中断することはありません。
このようなデータはすべてソフトウェアによって有益な一つの入力として統合されて、UE4 に渡されます。たとえば、コンピュータ ビジョンのカメラが最大 120 fps で動いていて、他のセンサーが 250 fps で動作しているような場合は、さまざまなデータがすべて時間的に把握し直され、正規化されて、一つの一貫性のある安定した出力に置き換えられてから、主要な制作カメラのタイムコードに記録されることになります。
撮影セットでは、非常に意欲的で厳しい条件のライティングが行われている場合があります。そのような場合でも、 Ncam には赤外線モードでカメラを動作させるオプションが用意されているため、ストロボやフラッシュライトのシーンにも対応できます。また、レイテンシーを低く抑えるように設計されているため、ライブアクションと UE4 のグラフィックスを合成させた出力を一つの結合されたショットとしてカメラマンを操作する人が見ることができ、格段に正確なフレーミングとブロッキングが可能となります。たとえば、騎士とドラゴンのショットを組み合わせる場合、緑の防音スタジオでアーマーをまとった人だけを見るのではなく、シーン全体を見ることができるならば、その作業は一層容易になるはずです。
正確なレンズのキャリブレーションとマッチング
カメラのトラッキングは、XYZ の位置と 3 つの回転角という 6 つの自由度を追跡することに帰結しますが、さらに、制作カメラのレンズに関するデータが必要となります。フォーカスやアイリス、ズームの他にも、正確なレンズの曲率、すなわち、想定されるあらゆるズームやフォーカス、アイリスの調整における歪みの正しい情報によって、UE4 のグラフィックスがライブアクションと完全にマッチできるようになります。広角レンズを使うと明らかにその像は歪み、現実の世界では直線であるはずのものでも曲線となってしまいます。すべてのリアルタイムのグラフィックスはフレーム単位でこれに合うようにしなければなりません。そのため、レンズの特性はレンズのシリアル ナンバー毎にマッピングされています。レンズはすべて異なっているので、たとえば Cooke 社による 32mm S4/i のレンズのテンプレートを用いて制作が開始されても、個々の違いを補正するレンズのキャリブレーションのためのシステムを Ncam は提供しているのです。
Ncam はアリ社のレンズ データ システム (LDS) といったシステムにも対応していますが、通常、それらのシステムでは、レンズの光学的範囲全体に渡って生じる像の歪みは明らかにされていません。しかし、プロジェクト開始時に Ncam によるプロプライエタリなチャートのシステムと、制作に使われているレンズをキャリブレートできるツールを使うならば、レンズのピンクッションと歪みをマッピングしておくことが可能になり、シリアル ナンバーでそれらを参照できるようになります。
最終的に、安定的でスムーズかつ正確な情報がこのシステムによってもたらされるので、リアルタイムのグラフィックスとライブアクションの素材が完璧な形で合成できるようになります。Ncam の設立者である Nic Hatch 氏は「私たちは、これらすべてのセンサーのさまざまなテクノロジーを結合させるために多大な時間をかけてきました。これが秘密のソースであり、システムが非常によく機能している理由になると思います」と述べています。
CG 要素と Real Depth を統合する
Ncam のもう一つの利点は、深度の理解になります。UE4 で要素が結合されるとき、UE4 のカメラを起点としてライブアクションがどの位置で行われているのかという情報を、Ncam の Real Depth (リアルの深度) のおかげでエンジンは把握することができます。そのことによって、UE4 のグラフィック要素やバーチャル セットの前や背後を歩く人を撮影することが可能になります。深度情報がなければ、どのような映像であっても、UE4 では平坦なカードのようになってしまうからです。Ncam があるおかげで、登場人物が撮影セットで前方に向かって歩くとき、UE4 においても前方に向かって歩きます。その際、そこに置かれているものを正しい距離をとりながら通り過ぎることができます。このような機能によって、制作物の価値は途方もなく上がり、ライブアクションとリアルタイム グラフィックスのリアリティは劇的に高まりました。この一つの機能によって、モーション グラフィックスやニュース解説のシークエンス、物語によるシークエンスにおける Ncam の利用様態はガラリと変わりました。
「ゲームエンジンとの統合は私たちにとってこれまでも常に非常に重要な課題でした。Unreal Engine と統合したこの類のライブアクションの試作品を最初に公開したのは、おそらく、2016年のあるトレードショーが最初だったはずです。ですから、私たちはエンジンとかなり密接な関係にあると言えます」(Hatch 氏)。昨年、同社は人員を 2 倍にしました。そして、そのリソースを最も多く割いている部門が研究開発に関わる部門です。開発において重要な対象は、API およびソフトウェア (たとえば、UE4) との連携機能です。それによって、バーチャル プロダクションのパイプラインを最大限に効率化させることが可能になるのですから。「私たちが行っていることは複雑であるため、多大な研究開発活動が必要となります」(Hatch 氏)。現実世界のライティングを Real Light とマッチさせる進歩的な機能
これまで、カメラの前の空間とカメラの動作を Ncam が把握する能力に焦点を当ててきましたが、同社はシーン内のライティングを把握できる進歩的なツールも開発しています。この Real Light というプロジェクトは、ライトをライブで測定する装置をシーン内に配置することによって、UE4 にライトの程度と方向の変化を伝えることができるものです。
Real Light は、バーチャル プロダクションのアセットを現実世界のシーンの一部として見えるようにするという難題を解決するために作られたものです。Real Light は、方向や色、強度、HDR のマップといった観点から現実世界のライティングを把握することによって、Unreal Engine がライティングの変更一つ一つに適応できるようにしてくれます。シーン内の光源の位置と深度も把握することによって、リアルとバーチャルの 2 つの世界が正しくインタラクトできるようになったのは重要なことです。つまり、デジタル アセットを技術的にフィットさせることが可能になり、正しくライティングされているような見栄えを実現できるようになったということです。これは、ライブアクションとゲーム アセットとの統合における大きな進歩と言えます。
オンセットでのプロダクション界に変革をもたらしている新たなテクノロジー、テクニック、ベストプラクティスに関する情報を探すには？ ― バーチャル プロダクションのハブを訪れてみてください。また、放送に関連する他の記事を閲覧してみてください。