『Siren』 はアンリアル エンジンで実現可能なものを示すデモ用に制作されました。この共同プロジェクトにはデジタル ヒューマン技術におけるリーダー的企業が参加しています。
3Lateral が女優 Bingjie Jiang の 3D と 4D のスキャンを行い、データは 3Lateral のスキャン システムを使って取得しました。同社のチームはモデルとテクスチャ データを作り、デジタル ダブルのフェイシャル リグを基本的な制御と共に構築し、リグ ロジック技術を適用してフェイシャル アニメーションがリアルタイムで動くようにしました。
Cubic Motion は、ライブとオフラインの顔の表情のキャプチャー、トラック、ソルブ、アニメーションの処理を行いました。Cubic Motion のソフトウェアによって演者の頭部に取り付けられたカメラからの映像を分析し、アニメートされた演技を 3Lateral が作成したフェイシャル リグに適用しました。Cubic Motion は女優の演技のライブ ビデオ入力を使ってリアルタイムで CG キャラクターを動かすライブ ソルバーも用意しました。
エピック ゲームズ が中心となってルック デブ (ルック デベロップメント) と呼ばれる質感設定や見た目を決める工程を進め、その中でレンダリング技術やスキン シェーダーを改善し、 CG キャラクターの制作などを行いました。アンリアル エンジン 4 (UE4) を使って Vicon から演技のデータを、Cubic Motion から顔の表情のデータを取り出し、それをキャラクターに適用し、シーンをリアルタイムでレンダリングしました。エピック ゲームズではさらにアーティストやクリエイターから成るチーム全体をサポートするためにエンジニアリング リソースも提供しました。
Tencent はエピック ゲームズと協力してキャラクターの見た目の開発に従事し、クリエイティブ面と技術について専門的なアドバイスをしました。
Vicon は、『Siren』 の体と指のモーション キャプチャー処理をすべて担当しました。Vicon のシステムによって、その Shogun ソフトウェア システムから演技データがアンリアル エンジンに入力されました。このデモのキャプチャー セッションは、英国オックスフォードにある Vicon の本社で行われました。
デジタル キャラクターは新たな形態のメディアが台頭するにつれて、ますます重要度が増しています。最終的には我々全員が自分たちのデジタル画像を持つようになるかもしれませんが、感情表現が可能な魅力的なキャラクターで、我々がそれに反応できることが、真にリアルなキャラクターを生み出す次のステップになります。
このデモは実現可能なものを示しているだけでなく、他の人もこのレベルのキャラクターを制作できるようにエピック ゲームズがアンリアル エンジンに組み込んでいくツールについても知っていただく機会になります。
Twitter で @UnrealEngine と #MeetSiren のハッシュタグをフォローして、情報を入手しましょう。