Yost Engineering、Inc（YEI）がアンリアル・デベロップメント・キット (UDK)を使用して成し遂げた、マーカーレスなフルボディのモーションキャプチャーとヘッドトラッキングVR技術を繊細なアンリアル・エンジン3 (UE3)のテスト環境においてリアルタイムで行った斬新的なデモが話題となっています。
制作中のビデオ閲覧
EpicはYost Engineeringのリサーチ及び開発の責任者であるPaul Yost氏と会談し、Yost氏率いるチームが話題となっているモーションキャプチャー及びVRデモンストレーションの開発をどのように進めたかについての理解を深めました。
Yost氏：「このデモでは、YEI 3スペースセンサーをSonyのHMZ-T1ヘッドマウントディスプレイに取り付け、パフォーマーのモーションをキャプチャーするために追加で16個の3スペースワイヤレスセンサーを使用しました。YEI 3スペースセンサーはフルヘッド及びボディのトラッキングをリアルタイムで実施し、ヘッドとボディセグメントオリエンテーションの出力をクォータニオン（四元数）で行います。」
Yost氏：「ヘッドオリエンテーションクォータニオンは、その後UDKでカメラの処理に直接使用されます。UDKが持つ外部DLLとのつながりを強みに、オリエンテーションデータをUE3 へ取り込めば、数行のアンリアル・スクリプトとUEI 3スペースセンサーの利用によりヘッドトラッキングが可能となるのです」“
Yost氏：「同様にバーチャルワールド内におけるアバタ―の操作は、パフォーマーに取り付けられた16個の追加3スペースセンサーによって得られるオリエンテーションデータを、キャラクターモデルのボーンオリエンテーションで直接動かします。繰り返しになりますが、UE3 を使用することによって数行のコードでごく自然な没入型バーチャル体験が可能となるのです」
Yost氏：「RealD をUDKと統合することにより、シーンの3Dレンダリングは外部第三者のアプリケーションを使用することなく実現されます。小ぶりな3スペースセンサーは、様々なヘッドマウントディスプレイや直接頭へ装着することが可能で、固定スクリーンで没入型体験が味わえます。弊社の3スペースワイヤレスセンサーでヘッドマウントディスプレイを拡大することによって、数分で完全没入型VR体験が楽しめます」
YEI 3-Space Sensorは高精度にもかかわらず低価格で入手可能なオリエンテーションセンサーで、内部計測ユニット(IMU)です。最新の誤差補正装置搭載とカルマンフィルタに基づいたセンサーフュージョンアルゴリズムに加え、3軸ジャイロスコープ、3軸加速度センサー、3軸磁気センサーを使用します。これらの使用は、ユニットによる直ちに使用出来るリアルタイムオリエンテーションデータと慣性データの出力を可能とします。
1991年に設立されたYEI Technologyは、商用製品とIPを生み出した技術関連リサーチと開発を担うYost Engineering の事業部です。
Yost氏のチームは数年間YEI 3スペースセンサーの開発に取り組んできました。幅広い潜在的利用エリアは、メディカル、軍事、航空宇宙産業などが含まれますがこれらに限った話ではありません。チームはまた組み込み式、ワイヤレス、データロギングセンサーなど複数のバージョンを開発しました。
Yost氏：「マーカーレスモーションキャプチャーはワイヤレスバージョンのセンサーを使用しているので、リアルタイムな動きをスーツ、カメラ、特別なスタジオなどを使用せず記録することが出来ます。いうまでもありませんが、このセンサーがもたらしたチャンスに大変興奮しており、全ての可能性の調査をUDKで開始したばかりです。」