2019年2月13日
デジタルヒューマン： 3Lateral がリアルタイムフェイシャルパフォーマンスの秘密を解き明かす
以下で Podcast 全編を聞くことが可能です。さらに多くの Podcast エピソードや動画、記事などがあるバーチャルプロダクションハブページも是非ご覧ください。
既に 3Lateral による作品を見たことがあるという可能性は高いと思います。Marvel の Spider-Man、Activision の Call of Duty、Rockstar Games の Grand Theft Auto や Red Dead Redemption といった AAA ゲームにおいてフェイシャルキャプチャとアニメーションを行ってきた会社です。Epic Games と共同で、3Lateral は Siren、Hellblade、Osiris Black と Andy Serkis といったリアルタイムデジタルヒューマンを開発してきています。
Mastilovic 氏は革新的な映画であった 1989年のアビスを見てからフェイシャルアニメーションに魅了されました。この映画ではジェームズ・キャメロン監督が映画の歴史ではじめて完全に水で作られた CG の顔を作り上げました。「完全に心を奪われました。どうやってこうしたことが可能なのかもっと知りたいと思いました。」と Mastilovic 氏は振り返ります。
その 15年後に、Mastilovic 氏は母国のセルビアで 3Lateral を創立しました。そして業界でのフェイシャルモーションキャプチャとパフォーマンスへの扱いを永遠に変えることになったのです。
マイクロエクスプレッションから真の演技へ
3Lateral の技術の基礎には顔の筋肉の動きを分類する Facial Action Coding System (FACS) があります。 FACS は 1960年代 に研究者である ポール・エクマン博士 によって開発されました。近代化されていない文化を研究し、すべての人類が感情を表現するのに同じ表情を使うことを発見したのです。
エクマン博士の研究から、マイクロエクスプレッションの科学が生まれました。世界中のすべての人に共通する顔の筋肉の収縮です。Mastilovic 氏は述べています。「すべての人間の間で通じるノンバーバルの共通言語があるという事実が大好きです。」
VFX コミュニティでは FACS を長年フェイシャルアニメーションでの手入力でのキーフレームにおいて使用していますが、3Lateral は FACS をさらに次のレベルに推し進めました。3Lateral の秘密の隠し味は「リグロジック」です。従来のフェイシャルキャプチャシステムを超えて、俳優の生のパフォーマンスのエッセンスを保持しつつデジタルキャラクタにリアルにリターゲットすることを可能にします。俳優がカメラの前でライブで演技をすると、3Lateral のシステムは俳優のフェイシャルの動きをリアルタイムに FACS に変換して、ターゲットリグに指示を出します。人間の演技をまったく別の顔構造に情報を保持しつつ転送するために、3Lateral はデジタル DNA の考えを導入しました。Mastilovic 氏は説明します。「DNA は特定の顔を観察して得られる計測結果のセットです。DNA ファイルには一般的なモデルからのそれぞれの人に固有のオフセットが含まれます。そしてこの DNA ファイルが幾何データを意味のあるデータに変換する上での鍵になるのです。」
3Lateral は最近 Osiris Black プロジェクトでこの技術のデモンストレーションを行いました。俳優 Andy Serkis 氏のシェイクスピア劇の独白パフォーマンスをリアルタイムでエイリアンキャラクタにリターゲットするというものです。このビデオはこのバーチャルプロダクション技術の強みを示しています。Serkis 氏とターゲットキャラクタの顔構造は非常に異なっているものの、元の演技のリアリズム、感情と力は保たれているのです。 Mastilovic 氏は述べます。「この技術は演技をノンバーバルの共通言語に変換するものなのです。ここでは[Serkis 氏の]演技を FACS コードに変換して、その変換結果をエイリアンに適用しました。」
この成果は業界を驚愕させ、バーチャルプロダクションでのリアルタイムフェイシャルパフォーマンスキャプチャの新しい世界を切り開きました。
リグを超えて: Epic Games との未来
Epic Games は先月 3Lateral を買収しました。CG で命を持つような人間を実現したいという一生の情熱を持つ Mastilovic 氏は、3Lateral の R&D を拡大し、特に一般に公開できるツールの開発を行いたいと考えています。
フェイシャルキャプチャとアニメーションの需要が拡大したため 3Lateral は昨年オファーを受けたプロジェクトのうち 95% 以上を断らなければならなかったことを Mastilovic 氏は残念に思いました。誰でも使えるツールが公開されることになれば、断られて失望する人はいなくなるはずです。
Mastilovic 氏は Unreal Engine をゲームだけにとどまらないツールとして見ています。将来的に機械学習、コミュニケーション、個人の能力開発、社会リサーチなどにも活用が可能と考えています。映画制作の世界においては、単純なフェイシャルキャプチャを超えた活用方法がバーチャルプロダクションにおいて今すぐ可能であると見ています。例えば、俳優のパフォーマンスの一部をリアルタイムにリミックスしてシーンでの感情のペース配分の試行錯誤をするといったことです。 「活用方法はリストを作れないほど多数考えられます。新しい可能性の世界が広がります。技術を使用するユーザーが、私達開発者が想像もしなかったような使用方法を見せてくれることになるのです。」と Mastilovic 氏は述べています。
Mastilovic 氏の Podcast インタビューは Visual Disruptors シリーズの一部です。Virtual Production ページでさらに多くのバーチャルプロダクションに関する Podcast エピソードや動画や記事をお楽しみください！