2017-2-6

IKinema の LiveAction とアンリアル エンジンでパワフルなライブ バーチャル体験を実現

作成 Siobhán Hofma IKinema

仮想体験でオーディエンスを魅了し、説得力のある作品を作ることがこの分野のクリエイターにとって究極の喜びです。こうした作品の最近の例としては、感動的なストーリーテリング、動的環境、そしてストーリー、映像、テレビの中のキャラクターと感情的につながるために限りなくリアルで信憑性があるキャラクターによって作り出されるものがあります。

ですから、テレビ放送、バーチャル プロダクション、アートなどのメディア業界のプロジェクトでは、リアルで信憑性のあるキャラクターを制作することを目指します。その多くは、UE4 で VR とバーチャル プロダクション技術の LiveAction を使用し、様々な最先端のバーチャル ライブ ショーを制作してきました。

LiveAction とは何か?

IKinema の技術の中心はパワフルなフルボディ IK ソルバーです。これは、アニメートされた 3D キャラクターで自然でリアルな動きを実現します。LiveAction ソフトウェアを使用すると、演者のパフォーマンスがモーションキャプチャカメラを使ってライブ キャプチャされます。このデータはただちに LiveAction を通してアンリアル エンジンにストリーミングされ、ACP フィルタを使ってデータが自動クリーニングされて仮想キャラクターに正確にリターゲットされます (レイテンシーはゼロ)。最終的に、演者からキャラクターに連続して途切れることのない自然な動きが出力されます。効率的なリアルタイム パイプラインによってアニメーション チームは膨大な時間を節約し、精神的ストレスを減らすことができました。

 blogAssets%2F2017%2FFEBRUARY+2017%2FIKinema+LiveAction+3.0+and+Unreal%2FIKinema_LA3_ACP_770-770x616-ebbb7a5592c2c6d7d167f0776def4c9d36b8473b

Animation Cleaning Pipeline (ACP) は、データを自動補正し、フロアのテレインに適用させ、フロアの貫通やスライディングをなくしライブ パフォーマンス中にアニメーションを最適に保ちます。

 

blogAssets%2F2017%2FFEBRUARY+2017%2FIKinema+LiveAction+3.0+and+Unreal%2FIKinema_LA3_retarget_770-770x397-b323614c1fc775d4bcf4bad3e48845150086d776

ソースから人間およびファンタジーのクリーチャーへと正確なリアルタイム リターゲットが行われます。

 

blogAssets%2F2017%2FFEBRUARY+2017%2FIKinema+LiveAction+3.0+and+Unreal%2FIKinema_retarget_770-770x455-c50127842d66b334362b7c843521836163365520

LiveAction では比率の異なるキャラクターを正確にソルブします。

 

アンリアル エンジンと共に LiveAction を利用することで、世界でも類を見ないインタラクティブ性が高いリアルな仮想体験を生みだしました。

blogAssets%2F2017%2FFEBRUARY+2017%2FIKinema+LiveAction+3.0+and+Unreal%2FMr-Monopoly2_770-770x514-938c41a147d55f353686e33e8812443ec9d406b5

画像: Hasbro | Facebook

 

Hasbro, Facebook Live Broadcast:『Monopoly Ultimate Banking』 ゲームのローンチ発表では、LiveAction はスタジオ内で演者の動きをキャプチャし、そのモーキャップ データをカートゥーン ステージ内で動く 3D アニメーション化された Mr. Monopoly に直接リターゲットしました。LiveAction をアンリアル エンジンや他の技術と並行して実行することで、Mr. Monopoly を生き生きとしたものにしました。パフォーマンスを説得力のあるものにするためリアルな動きを取り入れ、Q&A のライブ セッション中に強力なパイプラインでチームを支えました。
 

blogAssets%2F2017%2FFEBRUARY+2017%2FIKinema+LiveAction+3.0+and+Unreal%2FGloboTV_RioOlympics3_770-770x433-18ceb96a3cee7756243775bab041ccefb21865f1

Globo TV, 2016 Rio Olympics: Globo TV チームはLiveAction と UE4 を使用することで信頼性の高いリアルタイム パイプラインを実現しました。アスリートからキャプチャしたデータをストリーミングし、アニメートしたアバターにリターゲットした放送をリオ オリンピック開催中にブラジル全土で生放送しました。現実のプレゼンターは、対戦のリプレイを分析し、仮想アスリートとインタラクションしたり、仮想スタジアム環境を歩き回りました。

 

blogAssets%2F2017%2FFEBRUARY+2017%2FIKinema+LiveAction+3.0+and+Unreal%2FHellblade_03_770-770x433-8a34eec1246693745bb3947a28f432aa4e22db87

Ninja Theory, Hellblade:Senua’s Sacrifice:LiveAction はシームレスに演者の動作 (舞台上) を正確に伝え、最先端の史上初の VFX 技術を使ってバーチャルな Senua キャラクター (画面上) にリアルなヒューマノイドの動きを与えました。このショーはライブ オーディエンスの目の前でBest Real-Time Graphics & Interactivity Award at SIGGRAPH 2016 受賞 時に披露されました。 

blogAssets%2F2017%2FFEBRUARY+2017%2FIKinema+LiveAction+3.0+and+Unreal%2FThe-Met_770-770x520-8c38fe00fc29d9e0b209a8c42853632a69dd3a07

The New York Metropolitan Museum, The Return: アダム像をデジタル形式で再現 したインタラクティブなアート展示です。Tullio Lombardo 作の味わい深い彫刻が、デジタル パペット システム、モーション キャプチャ、ライブ アクションで甦りました。来館者が画面上のデジタルのアダムに質問し、演者がステージ上の別の場所で演じたり、質問に回答したりします。
 

技術内容


LiveAction の主な機能

  • ライブ モーション キャプチャでは、複数キャラクター (例、中程度の仕様の CPU で最高 12 まで、さらにパワフルなプロセッサーでは 13 以上) をストリーミングし、レイテンシー ゼロでソルブ
  • OptiTrack、 Vicon、 Xsens といったモーション キャプチャ システムに対応
  • ジョイントのリターゲットや剛体のソルブをサポート (Facility 版と Studio 版のみ)
  • Animation Cleaning Pipeline (ACP) – モーキャップ データのリアルタイム自動補正機能 (例、ノイズ、ジッター、足のスライディング、フロアの貫通など)
  • アンリアルでフル パイプラインを設定するための専用 UI
  • 類似キャラクターまたは異なる比率のキャラクターでソルブ

 

LiveAction 3.0 の新機能

  • 自動ボーン マッピング
  • テンプレート エディタ – カスタム名のマッチング
  • ターゲット リグ上でスケルトンのマッチング
  • ACP のワークフローの改善
  • モーキャップ ストリーミング プロトコル (VRPN ベース) を通してカスタム モーキャップシステムをサポート
  • 高速セットアップ、数分以内に結果を表示

 

皆さんの次のプロジェクトの概要は以下のようになるかもしれません。


プロジェクト: 仮想体験
納期: 昨日
概要: あっと驚かせるキャラクター モーション。予算内、予定どおり。 ストレス レベルは最小限。
メモ:アンリアル エンジンをダウンロードし、サポートを受けられるように Support@IKinema に連絡。


IKinema LiveAction 3.0 は Windows プラットフォームで利用可能。ノード ロック ライセンスとフローティング ライセンスがあります。Binary、Facility、Source の 3 レベルのライセンスがあります。詳細は IKinema をご覧ください。

最近の投稿

最新技術を先取りチェック:間もなく実現、アンリアルのリアルタイム レイトレーシング

「リアルタイム」と「レイトレーシング」はかつて相反する言葉でした。しかしNVIDIA RTX 技術の登場により、アンリアル エンジンでのリアルタイム ...

西部劇風ビジュアルの大乱闘 FPS、『Sky Noon』の制作背景

ニュージーランドを拠点とするインディー デベロッパー チームであり、Unreal Dev Grant を受賞した Lunar Rooster が、ユニ...

GitHub アカウントと Epic Games アカウントの紐付けの認証プロセスのアップデート

ユーザー エクスペリエンスとセキュリティの向上のために、GitHub アカウントと Epic Games アカウントの紐付けプロセスに OAuth 機...