Unreal Engine での各アップデートでは、バーチャルプロダクションの「未来」のように思えた機能を、今現在の映像制作者が簡単に使える手の届くものにすることを目指しています。今回の 4.25 リリースでは、エンジンのコンパニオンとして使える新しい iOS アプリを用意しました。この新しい iOS アプリ Live Link Face for Unreal Engine は本日から App Store で入手可能になります。
Live Link Face では、iPhone から Unreal Engine 上のキャラクタに対して高品質のフェイシャルアニメーションを直接リアルタイムでストリーミングすることが可能です。Apple の ARKit と iPhone の TrueDepth 前面カメラを活用し、インタラクティブに演者の顔をトラックします。そして、このデータをネットワークの Link Link を介して直接 Unreal Engine に送信します。完全なモーションキャプチャスーツを着た複数人がいるようなプロ向けのキャプチャステージでも、アーティストである一個人のデスクでも、あらゆる制作の状況において表現力と感情に溢れたフェイシャルパフォーマンスを実現できるようにデザインされています。
Live Link Face はプロフェッショナルのパフォーマンスキャプチャパイプラインにおいても使用準備ができています。
協同バーチャルプロダクションについても対応しています。マルチユーザーエディタセッションに参加しているすべてのマシンに対して、Link Link データをネットワークでマルチキャストして遅延を最小化することが可能です。柔軟なタイムコードサポートと精密なフレーム正確性により、カメラや身体のモーションキャプチャといったその他のステージコンポーネントとシームレスに同期することも可能です。Live Link Face はTentacle Sync 統合も用意しています。Bluetooth を介してステージのマスタークロックに接続し、ショットのその他のデバイス記録と完全に同期することを保証することができます。OSC (Open Sound Control) プロトコルもサポートされているので、外部アプリケーションからアプリをリモート制御することも可能です。一回のクリックやタップで複数の iPhone での記録を開始する、といったことも実現可能です。
Live Link Face の機能は、ステージ以外でも活用できます。ストリーマーもこのアプリを活用できます。ヘッドリグ付きのモーションキャプチャスーツなしで、机の前に座っているような場合にも対応可能です。Live Link Face は頭や首の回転データをフェイシャルトラッキングデータに含む設定にすることが可能で、iPhone だけの場合でも自由度の高い動きをデジタルアバターで実現することができます。アニメーターには、タイムコード付きの生のブレンドシェイプデータ (CSV) や前面カメラビデオ(MOV) を記録するオプションも有用です。後からエンジン内で調整する場合のリファレンスマテリアルを記録することができます。
Addy Ghani, Verizon Media RYOT チーム
Verizon Media のアニメーション技術ディレクターである Addy Ghani 氏は以下のように述べています。「Live Link Face アプリは iPhone ARKit の素晴らしいフェイシャルキャプチャを洗練された制作ツールとしてパッケージしています。RYOT はキャプチャ技術とリアルタイムコンテンツの民主化が大事であると考えています。このソリューションは自宅にいるクリエイターにも、私達のようなプロのスタジオチームにも最適なものです。」
Live Link Face for Unreal Engine アプリ
バーチャルプロダクションのためのリアルタイムツールを民主化し、誰でも使用できるようにすることはUnreal Engine の開発での主要なゴールの一つです。Live Link Face でクリエイターがより簡単にフェイシャルキャプチャを使用できるようになることを願っています。あなたが作り出す素晴らしい作品を楽しみにしています!アプリケーションをダウンロードして使用を開始しましょう。詳細についてはドキュメントをご覧ください。