July 19, 2018

手持ちのカメラでの瞬時の合成をアンリアルが支援

作成 Ken Pimentel

ラスベガスで開催された NAB 2018 で、AMDARwall と協力し、バーチャルプロダクションにおけるリアルタイム レンダリングの新しい用途を示しました。それは、カメラの視点の変化に対応した拡張現実の壁です。これにより、ポストプロダクションの段階で、グリーン スクリーンの映像とレンダリングされた CG を合成する必要がなくなります。AMD のハードウェアで動作する ARwall Effects(ARFX)System は、NAB の参加者全員が試せるように展示されました。

ARFX System では、アンリアル エンジンで計算されたリアルタイムの画像が、シーンの背景として十分な大きさのスクリーンに表示され、カメラの動きに応じてリアルタイムで更新されます。生身の俳優が壁の前に立つと、リアルタイム 3D のバーチャルセットがその場に展開しているかのようなショットを瞬時に合成できます。
NAB 2018 における AMD による ARwall テクノロジーの展示

AMD のイマーシブ テクノロジー チームのディレクター、Frank Vitz 氏は次のように述べています。「これは、グリーン スクリーンを使ってやることに似ています。ただし、グリーン スクリーンはありません。カメラを自由に動かすことができ、合成がカメラで行われます」

ARwall のシステムでは、グリーン スクリーンの撮影に影響するアーティファクトについて考慮する必要がなくなります。「グリーン スピルは起こりません。髪の毛が問題になることもありません」と Vitz 氏は言います。

ARFX System はリア プロジェクションの技術を進化させたものです。リア プロジェクションでは、撮影中に、映像制作者が前もって撮影した環境の映像を俳優の背後のスクリーンに投影します。しかし、この方法は、スクリーンに対して垂直な視野角にしか対応していません。それ以外の角度ではすぐにエフェクトが損なわれます。

ARFX System では、任意の角度でカメラを動かし、撮影できます。カメラを持って仮想的なセット内を歩き回ることができ、映像制作のエクスペリエンスをイマーシブなものにできます。CG の環境内で近くにある要素と遠くにある要素の遠近感がリアルタイムに反映され、2D プロジェクションのような制限はまったくありません。また、俳優が環境を見て反応できるので、パフォーマンスが向上します。
Physical_Set_Only.jpg
使用例:実際のセットは歩行可能な足場(空の映像が写し出されている壁の手前側)になっています。
Physical_Set_and_ARwall_railings.jpg
ビデオを壁に投影すると、セットが仮想的に拡張(手すりや階段)され、実際のセットとつながるように調整されます。カメラが動くと、拡張されたセットの視点が変わり、適切な角度で実際のセットとの「つながり」が維持されます。
Vantage-point1.jpg
投影される映像に環境の残りの部分が追加され、移動式カメラや手持ちのカメラであっても、シーンの背景がリアルタイムに更新されます。
vantage-point-3.jpg
実際のセットで、ビデオが投影された壁を背景に俳優を撮影し、カメラ内で合成を行うことができます。背景の角度はカメラの動きに応じてリアルタイムで更新されます。

Vitz 氏は次のように述べています。「その場でシームレスに合成できるというのは、VR コンテンツの制作においては夢のようなことです。これは見事な新技術で、VR コンテンツの制作に使える新しいツールです」

背景をリアルタイムに更新するために、ARFX では、アンリアル エンジンと、カメラに接続されたトラッカのセットを合わせて利用します。ARFX システムでは、AMD の Advanced Media Framework(AMF)と Interactive Reflection Technology(IRT)センサーを使用して、ライティングに関する情報をアンリアル エンジンに提供することもできます。Z Cam の 360 度カメラがライティングに関する情報を収集します。アンリアル エンジンは、その情報を使用して、実際のセットに合わせたライティングを仮想的に拡張されたセットに適用し、ライティングの変化にリアルタイムで対応します。NAB で紹介されたシステムでは、AMD Ryzen Threadripper と 2 個の Radeon Pro WX 9100 GPU を使用しました。

ARwall の CEO、Rene Amador 氏は次のように述べています。「映像制作者は、クリエイターのなかでもリアリズムと正確さを最も求める人たちです。ARwall を成功させるためには、どのような処理にも対応でき、また過酷で要求の多い制作環境に対応できるエンジンが必要であることがわかっていました。アンリアル エンジンはそうした期待に応え、さらにその上を行っています。私たちのチームでは、アップデートがあるたびに、クリスマスの朝を迎えたような気分になっています」

アンリアル エンジンをお試しになるには、Unreal Studio のベータ版に今すぐお申し込みください。アンリアル エンジンに加えて、エクスポートとインポートのツール、学習用のビデオなどをご利用いただけます。