パフォーマンス キャプチャとは、その名が示すとおり、俳優のユニークなパフォーマンスをキャラクターに移すことが目的です。パフォーマンス キャプチャを行うと、キャラクターのリアリズムと個性を強化できます。キーフレーミングで同等の成果を上げようとすると、非常に時間がかかります (ことによると不可能かもしれません)。リアルタイムのパフォーマンス キャプチャは、直接性を高める効果があります。俳優による演技全体が CG のキャラクターに瞬時に移され、リアルタイムのアニメーション シーケンスを作成できます。
首から下については、リアルタイムのモーション キャプチャとリターゲティングは、すでに映画マーウェンや Fortnite のシネマティック トレーラーなどのプロジェクトで成功を収めています。この技術によって、セットでのクリエイティビティとコラボレーションの新しい可能性が開かれましたが、キャラクターの最終バージョンのためには、依然としてモーション キャプチャ セッション後に作業が必要でした。顔のアニメーションを別のパスで行い、あとで体のモーションと組み合わせる必要があったのです。
そこにリアルタイムのフェイシャル キャプチャとリターゲティングを追加すると、まったく新しい可能性が開かれます。俳優が演技をすると、映像作家は CG キャラクター全体の完成像をリアルタイムで観ることができるのです。Cubic Motion、3Lateral、Digital Domain などの企業は、ここ数年、フェイシャル キャプチャの研究開発に熱心に取り組んでいます。また、個々のクライアント向けに、カスタムのパフォーマンス キャプチャ ソリューションを開発してきました。
しかし、社内に独自のシステムが欲しいという場合や、単に試してみたいという場合にはどうすればいいのでしょうか。
リアルタイム パフォーマンス キャプチャについて話を聞くと試してみたくなるという方には、いいお知らせがあります。この記事では、モーション キャプチャ パイプラインに組み込むことができる、2 つのフェイシャル キャプチャ システムを紹介します。これらのシステムを使えば、どこでも利用できるパフォーマンス キャプチャ ソリューションを作成できます。
Apple iPhone X
2018 年の SIGGRAPH で Real-Time Live! の最優秀賞を獲得したのは、Kite & Lightning によるプレゼンテーション、Democratizing MoCap: Real-Time Full-Performance Motion Capture with an iPhone X, Xsens, IKINEMA, and Unreal Engine でした。このプロジェクトでは、体と顔のキャプチャを組み合わせて操作されるリアルタイムの UE4 キャラクター、「Beby」が登場します。フェイシャル キャプチャ デバイスは iPhone X でした。Kite & Lightning の共同創業者、Cory Strassburger 氏が、サバイバル ゲーム用のヘルメットから iPhone を吊るし、ヘッド マウント カメラ (HMC) とした状態で演技をしました。体のキャプチャには Xsens MVN モーション キャプチャ スーツを使用しました。
フェイシャル キャプチャへのこのアプローチは、それ以来さまざまなところで取り入れられ、今では UE4 でサポートされています。Epic Games Launcher のラーニング タブから、無料のテスト用サンプルとして、フェイス AR サンプルを入手できます。このサンプルでは、デモ プロジェクトである A Boy and his Kite のキャラクター アセットを使用しています。
Apple ARKit、iPhone に搭載されたカメラ テクノロジー、Apple の Visual Inertial Odometry によって、映像を安定させ、50 以上のブレンド シェイプを生成して仮想的な顔を動かします。iPhone を手に持った状態で、UE4 で顔をリアルタイムで操作するシステムを手に入れることができます。ヘルメットに取り付ける必要はありません。Apple は、このフェイシャル キャプチャのアプローチを活用して、リアルタイムの Facetime チャットで Animoji あるいは Memoji のキャラクターを使えるようにしています。
手に持った、あるいは普通のヘルメットに縛りつけた iPhone は、フェイシャル キャプチャ ソリューションとして安価で使いやすいものになります。体のモーション キャプチャと組み合わせれば、ほとんどどこでも使えるパフォーマンス キャプチャ システムを手に入れることができます。
Cubic Motion Persona
Cubic Motion は、UE4 でのパフォーマンス キャプチャの最も重要な進歩の一部となり続けています。予期せぬ成功をもたらした Hellblade: Senua’s Sacrifice と SIGGRAPH でのそのデモ、信じられないほど生きているように見える Siren などで、Cubic Motion はリアルタイムのマーカーレス トラッキングを提供し、アニメーション リグの動きをソルブしています。ゲームのクライアント向けには何時間ものフェイシャル ソリューションを定期的に生成し、VFX プロジェクトを支援するために外部の専門家として雇われています。コンピューター ビジョンと顔の専門家であり、顔について理解していて、迅速かつ適切にソルブする方法を把握しています。
現在、Cubic Motion は、Persona というまとまったパッケージとして前述のサービスを提供しています。このシステムでは、ハードウェア、ソフトウェア、カスタムのソルバーを総合的なハイエンドのソリューションとして提供し、感情のキャプチャとリアルタイム パフォーマンスに利用できるようになっています。
Apple の iPhone を使うアプローチはフェイシャル キャプチャのための優れたソリューションの 1 つではありますが、その結果は専用のハードウェアを使ったときほど正確ではありません。Persona のヘッド マウント カメラは安定性が高く、表情をより正確に読み取ることができます。また、カスタマイズされたソルバーが含まれているため、各俳優の顔の動きに対する反応に優れています。
Persona を開発するために、Cubic Motion は、その世界最高レベルのフェイシャル トラッキング サービスを新しいカスタム ハードウェアと合わせてパッケージしました。システムでは複数の俳優をサポートします。俳優のそれぞれが 3D プリンターを使って作られた高品質なヘッド マウント カメラを装着し、身に付けるアニメーション システムと合わせて利用します。俳優はケーブルを一切使わずに演技でき、ステージまたは空間を自動に動き回ることができます。
また、Cubic Motion は、AAA ゲームのクライアントに提供しているものと同様のサービスを提供します。各プロジェクトの開始時に、Range of Motion (ROM) のクリップと、使用するアニメーション リグを合わせて Cubic Motion に送ります。すると、Cubic Motion のチームが俳優ごとにカスタムのソルバーを作成します。
俳優はそれぞれ、ヘッド マウント カメラに加えて、小さなウェアラブル コンピューターを身に付けます。そのコンピューターがフル トラック ソルブを行い、データを無線でセットにストリーミングします。Persona には管理システムも含まれていて、ステージの端に置かれるメイン コンピューター上で動作します。このシステムからすべての設定とモニタリングを管理できます。データ ストリームは Unreal Engine プラグインに向けられ、リアルタイムのフェイシャル アニメーションを提供します。
設計の重要な側面の 1 つは、俳優が身に付けたコンピューターからメインの Unreal プラグインへと送られるデータの削減です。映像全体を送るのではないため、システムは堅牢なものとなり、特別なケーブルや送信機がなくても動作します。
Persona は万人向けのものではありませんが、極めてハイエンドで高度なリアルタイム フェイシャル アニメーションを自社で作成する手段を VFX 企業やゲーム会社に提供できます。Cubic Motion は UE4 だけを使用するわけではありませんが、ほぼすべてのハイエンド顧客がこの種の作業に UE4 を使用していると指摘しています。
ここで紹介したソリューションをチェックして、Unreal Engine をダウンロードし、ご自分のプロジェクトにどう活かせるかご確認ください。また、Epic Games のバーチャル プロダクションのページでは、バーチャル プロダクションに関するポッドキャスト、ビデオ、記事を紹介しています。