2019年5月8日
バーチャル プロダクション:Stiller Studios におけるモーション コントロールとリアルタイムのプレビュー

ポッドキャストの今回のエピソードでは、fxguide の共同創業者 Mike Seymour 氏がホストを務め、保守的な演出家が新しい環境で作業を行うために Stiller Studios がどのように支援しているのかについて、Forsberg 氏にお話を伺いました。セットで現実の映像と CG 画像をリアルタイムで完全に同期させることができるという点を挙げています。下からポッドキャストをお聞きいただくか、読み進めて概要をご覧ください。
Stiller Studios は、複製なモーション コントロールを重視しています。仮想と現実のカメラの位置と経路を完璧に一致させ、使用できるデータとしてリアルタイムで出力する必要があります。それはどのように始まったのでしょうか。
創業まもないころは、Forsberg 氏はグリーン スクリーンでの完全なショットを得ようと苦労していました。Forsberg 氏は、カメラを 1 ~ 2 m 動かすための小さなロボットを購入しに、ロンドンの Mark Roberts Motion Control に行きました。そして、モーション コントロール リグ Cyclops を購入して戻ってきました。重量が 4.6 t ある Cyclops は、最高で上空 6 m まで届きます。

Forsberg 氏は次のように述べています。「この巨大な装置が私のすぐ後ろに置いてあったのです。おそらく意図的にそうしてあったのでしょう。だって、年齢とは関係なく、少年のようになってしまうことはありますよね。そういったわけで、4.6 t の装置を連れて帰ってきたのです」
スタジオに設置された Cyclops は、当初は Autodesk のいくつかの製品と接続されていました。しかし、ここ 5 ~ 6 年で、Stiller Studios はリアルタイム エンジンを使い始めました。現在では、モーション コントロールのデータは Unreal Engine に直接送られるようになっています。 Forsberg 氏は次のように述べています。「16 m のトラックに 6 m のクレーンを載せているようなもので、FBX、カメラの位置、レンズのデータなどを送信して、Unreal でリアルタイムでミックスできます。実際の演技とコンピューターで生成された画像を完璧に同期させて見ることができるのです。私たちは、演出家がスクリーンで全体像を見られるようにして、そこにライトの方向、シャドウ、インタラクションなどすべてを含めたいと考えています」
セットでのリアルタイムのレビュー
全体像を見るために、演出家には iPad が渡されます。iPad を手に仮想的なセットを歩き回り、UE4 で完全なレンダリングを見ることができます。iPad を仮想的なカメラとして使い、カメラの経路を記録することもできます。すると、Cyclops にマウントされた実際のカメラがその経路を正確に反復します。 Forsberg 氏は次のように述べています。「監督、あるいは撮影監督がセットで iPad を動かし、カメラの動きを正確に見ることができるようにしました。数秒後には 4.6 t の巨大な機械がその動きを正確に繰り返します。11 年やっていますが、今でも見るとクールだなと思います」この再現性は、Stiller Studios が引き受けた複雑なショットのいくつかにおいて、重要な役割を果たしています。また、Victor Perez 監督による、高い評価を受けた短編映画 Echo でも、効果的なエフェクトを生むために使用されました。ユニークなキャラクターを生み出すことになった、時間を捻じ曲げるバレット タイムのような鏡のシーケンスでは、同じ被写体をセットのさまざまな視点から撮影し、あとから組み合わせる必要がありました。そのために、Stiller Studios は、Cyclops に加えて、2 台目の高速モーション コントロール リグ、Bolt を導入しました。

Forsberg 氏は次のように述べています。「バレット タイムを 3D の深度のようなもので分類して、1 台のカメラでは実際の演技、もう 1 台のカメラではバレット タイムを提供し、2 台のカメラを交代させます。すると時間のレイヤーの 1 つを 1 フレームのうちに捻じ曲げることができます。それが可能になるのは、モーション コントロールをプログラムで制御できるからです。時間とカメラのスピードを切り替え、最終的には同期します」
デジタルでの代役:技術的なセットアップを UE4 で再現
2 台のカメラ リグに加えて、Stiller Studios は、俳優用のコンピューター制御のモーション ベースを所有しています。最大 1 t までに対応します。これは、生身の俳優がヘリコプターや飛行機に乗っているときや、現実の人間が CG のクリーチャーの背中に乗っているときの動きをシミュレーションする場合に役立ちます。そのようなショットでは、セットアップの技術的な面を可視化するためにも UE4 を使います。リグのデジタルの代役とエンジン内のカメラを利用します。「私たちにとって、Unreal は、テックビジュアライゼーション、オンセットビジュアライゼーション、プリビジュアライゼーションのためのツールです。空飛ぶ自動車や空飛ぶじゅうたんを置いて、リアルタイムで操って試すことができます。ミニチュアのコピーを使ってモデルを移動させることができるので、6 軸ジョイスティックのように操作して動かし、その様子を Unreal でもリアルタイムで見ることができます」と Forsberg 氏は述べています。
このような高度なセットアップは真剣な仕事で使われることを意図したものですが、Stiller Studios のチームは遊び心を加えずにはいられないようです。
Forsberg 氏は次のように述べています。「世界でも最高のおもちゃの 1 つと言えるでしょう。金曜の遅い時間になると、モーション ベースの上に座って、F16 か何かを飛ばすことができます。Unreal Engine につなげば、世界最大のフライト シミュレーターのできあがりです。大手の航空会社などで使われているものと同じテクノロジーを、私たちは映画のシステムあるいはカメラ システムに接続しているのです」
デジタルの代役がいるのはリグとカメラだけではありません。Stiller Studios は、約 30 個の RGB LED ライトについても仮想的なコピーを作成しました。「3D と演技をマッチさせることができ、それは撮影監督や監督が結果がどのようになるか感覚をつかむうえでとても役立ちます」と Forsberg 氏は述べています。
完璧な同期を利用しポストプロダクションへ出力
プロジェクトによってはリアルタイムの出力を最終的なものとすることもありますが、多くのプロジェクトでは、セットでの体験は適切なショットを撮影することに主眼が置かれていて、依然として従来の VFX のポストプロダクション パイプラインで多くの作業が行われています。最終的なステージで役立つようにアセットを確実に移行することが非常に重要で、完璧な同期が鍵となります。
Forsberg 氏は次のように述べています。「たとえば、モーション コントロールにカメラがあり、FBX を Unreal に出力するとしましょう。モーション キャプチャ システムを使った仮想的な俳優もいるかもしれません。私たちは、完璧に同期するファイルを提供しているという自負があります。アーティストはアーティストとしての職務に注力し、より美しいものを作り上げることができます」
創造力を自由に発揮
Stiller Studios が採用しているアプローチにはいくつものメリットがあります。チームがセットで最終的なセットを実際に目にすることができ、クリエイティブ業務の担当者が試験的なことをする余裕が生まれ、俳優がのびのびと振る舞うことができるようになります。
Forsberg 氏は次のように述べています。「クリエイティブ業務の担当者が大胆になります。これは映画にとって良いことです。以前は、あとの工程に問題を起こさないという確信を持てるようにする必要がありましたが、今はリアルタイムでフィードバックを得られるので、いろいろと試して限界に挑むことができます」
「1 つのショットは、そこにいる俳優だけのものではありません。合成されるものなどすべてと俳優がどうやり取りするか、というものがショットです。そのやり取りのあり方もセットで決められるようになりました。セットというのは、VFX 担当者が最も重要になる場所の 1 つです。判断が下される場所であり、正しいことをしようと努める現場であるからです」
挑戦を愛する
Stiller Studios では、複雑なエンジニアリングすべてを組み合わせることが簡単かつ円滑であるように見せていますが、実際にはそれは難しいことです。たとえば、機器のキャリブレーションについて、Forsberg 氏は次のように述べています。「技術者に計算を行ってもらったところ、数百万とおりの設定が可能なところが 15 か所あり、正しい設定は 1 とおりだけだとのことでした」しかし、Forsberg 氏は挑戦への情熱を失ってはいません。「11 年やっていますが、いまだに毎日遊び場に行くような気分です」
今回ご紹介した Patrik Forsberg 氏へのインタビューは、ポッドキャスト シリーズ Visual Disruptors の 1 エピソードです。バーチャル プロダクションのハブで、ポッドキャスト、ビデオ、記事、展望にアクセスしてください。