2019年4月17日
リアルタイムのモーション キャプチャで HQ Trivia のホストがレゴのミニフィギュアに
「このプロジェクトは、基本的に HQ Trivia とレゴの融合です」と、Animal Logic の制作技術部門責任者 Aidan Sarsfield 氏は言います。「HQ Trivia は、何十万人もの人々が同時にログインし、ゲームに参加できるすばらしいゲーム ショーです。レゴのミニフィギュアを加えることで、ショーをさらによいものにできることがわかりました」 2 月にレゴのプロモーションが始まったとき、HQ Trivia のホストであった Scott Rogowsky 氏は、ゲームの常連プレイヤーによく知られた存在でした。Rogowsky 氏はホストとしてゲームのたびに画面に現れ、問題、答え、プレイヤーについてリアルタイムで活発にコメントしていました。
レゴの映画が公開される直前の HQ Trivia の特別エピソードに合わせて、Animal Logic は Rogowsky 氏のレゴ ミニフィギュアを作り、『レゴ ムービー 2』のアセットを再利用してリギングし、Unreal Engine にインポートしました。Rogowsky 氏はモーション キャプチャ スーツを身につけてリアルタイムでミニフィギュアを動かし、その特徴的なノリでゲームのホストを務めました。
このエピソードは大きな成功を収め、ゲームの参加者は 60 万人を超えました。レゴ版の Rogowsky 氏もいつものようにプレイヤーとやり取りし、さらにプラスチックの外見についてコメントしたり、表情や動きに対するリクエストにリアルタイムで応えたりしていました。「多くの反響がありました」と Rogowsky 氏は述べています。「レゴ ムービー 2も高く評価されましたが、レゴ版 Scott も気に入ってもらえたようです。この分野の可能性に目を見張りました」
Rogowsky 氏のミニフィギュアは iPhone X とモーション キャプチャ スーツで操作されました。Rogowsky 氏の顔の表情は、Apple 独自の ARKit によるフェイス トラッキングを使って Unreal Engine へリアルタイムで送られ、体の動きは Xsens のモーション キャプチャ スーツから伝えられました。
人間のキャラクターをターゲットとするモーション キャプチャとは異なり、Rogowsky 氏の動きは、レゴのミニフィギュアの限られた動きの範囲に変換する必要がありました。実際の Rogowsky 氏は、腕や脚を自由に動かすことができますが、ミニフィギュアはすべての方向に腕や脚を曲げられるわけではありません。たとえば、レゴのフィギュアは、ひざを曲げたり手を閉じたりすることはできません。Animal Logic は、Rogowsky 氏の動きとレゴのミニフィギュアが連動するように、Rogowsky 氏の動きをフィギュアの動きの範囲にあてはめるカスタム インタープリタを作成しました。また、ミニフィギュアの表情は、手作業のアニメーションのように見える必要がありました。これは、表情が滑らかに変化するのではなく、段階的に変わる必要があることを意味しました。Animal Logic は、特定の表情を認識してその表情に対応するテクスチャをトリガーするシステムを開発しました。たとえば、Rogowsky 氏が眉を上げると、眉が上がった状態のテクスチャが、フィギュアの顔にリアルタイムで適用されました。
Animal Logic は、レゴ版の Rogowsky 氏の外見を、実際の物理的なミニフィギュアに似せることにこだわりました。レゴのミニフィギュアは、実在する人物をベースにしているのではない限り、常に肌の色が黄色です。Rogowsky 氏のミニフィギュアの肌の色は本人に合わせましたが、レゴが実際のフィギュアに使用している色から選んでいます。Rogowsky 氏のミニフィギュアの体には、映画の登場人物と同じように、現実の人間が本当にレゴで遊んでいたかのような跡や指紋が忠実に描写されました。大きな違いは、Unreal Engine を使ったおかげで、Rogowsky 氏本人がレゴ版の自分をリアルタイムでしゃべらせ、動かせることでした。映画ならば、非常に複雑にできているため、1 フレームを制作するのに何時間もかかっていたでしょう。
このプロセスについて Sarsfield 氏は次のように述べています。「多くの異なるテクノロジーを組み合わせ、多くの人々とともに完全に未知の領域に足を踏み入れましたが、関わった人たち全員がこのプロセスを大いに楽しみました。探求の可能性を伴うことは何でも必ず全員に利益をもたらすと思っています」
独自の優れたリアルタイム エクスペリエンスを作り出すには、Unreal Engine をダウンロードして早速お試しください。