ARFX System では、アンリアル エンジンで計算されたリアルタイムの画像が、シーンの背景として十分な大きさのスクリーンに表示され、カメラの動きに応じてリアルタイムで更新されます。生身の俳優が壁の前に立つと、リアルタイム 3D のバーチャルセットがその場に展開しているかのようなショットを瞬時に合成できます。
AMD のイマーシブ テクノロジー チームのディレクター、Frank Vitz 氏は次のように述べています。「これは、グリーン スクリーンを使ってやることに似ています。ただし、グリーン スクリーンはありません。カメラを自由に動かすことができ、合成がカメラで行われます」
ARwall のシステムでは、グリーン スクリーンの撮影に影響するアーティファクトについて考慮する必要がなくなります。「グリーン スピルは起こりません。髪の毛が問題になることもありません」と Vitz 氏は言います。
ARFX System はリア プロジェクションの技術を進化させたものです。リア プロジェクションでは、撮影中に、映像制作者が前もって撮影した環境の映像を俳優の背後のスクリーンに投影します。しかし、この方法は、スクリーンに対して垂直な視野角にしか対応していません。それ以外の角度ではすぐにエフェクトが損なわれます。
ARFX System では、任意の角度でカメラを動かし、撮影できます。カメラを持って仮想的なセット内を歩き回ることができ、映像制作のエクスペリエンスをイマーシブなものにできます。CG の環境内で近くにある要素と遠くにある要素の遠近感がリアルタイムに反映され、2D プロジェクションのような制限はまったくありません。また、俳優が環境を見て反応できるので、パフォーマンスが向上します。
Vitz 氏は次のように述べています。「その場でシームレスに合成できるというのは、VR コンテンツの制作においては夢のようなことです。これは見事な新技術で、VR コンテンツの制作に使える新しいツールです」
背景をリアルタイムに更新するために、ARFX では、アンリアル エンジンと、カメラに接続されたトラッカのセットを合わせて利用します。ARFX システムでは、AMD の Advanced Media Framework（AMF）と Interactive Reflection Technology（IRT）センサーを使用して、ライティングに関する情報をアンリアル エンジンに提供することもできます。Z Cam の 360 度カメラがライティングに関する情報を収集します。アンリアル エンジンは、その情報を使用して、実際のセットに合わせたライティングを仮想的に拡張されたセットに適用し、ライティングの変化にリアルタイムで対応します。NAB で紹介されたシステムでは、AMD Ryzen Threadripper と 2 個の Radeon Pro WX 9100 GPU を使用しました。
ARwall の CEO、Rene Amador 氏は次のように述べています。「映像制作者は、クリエイターのなかでもリアリズムと正確さを最も求める人たちです。ARwall を成功させるためには、どのような処理にも対応でき、また過酷で要求の多い制作環境に対応できるエンジンが必要であることがわかっていました。アンリアル エンジンはそうした期待に応え、さらにその上を行っています。私たちのチームでは、アップデートがあるたびに、クリスマスの朝を迎えたような気分になっています」
オンザフライ合成などを試してみませんか？Unreal Engine をダウンロードしてください。