Bebylon を使ったプレゼンテーションは Best Real-Time Graphics and Interactivity を受賞しました。表情も表現にも富んだリアルタイム CG キャラクタをライブパフォーマンスで動かすという内容で、既にある技術を巧妙に組み合わせることで高いクリエイティビティを示し、驚くような成果を実現できることを証明しました。 今でもまだ 4 人の体制ですが、Kite & Lightning は 2012年のささやかなはじまりから比べると非常に大きな発展を遂げたといえるでしょう。Cory Strassburger 氏は述べています。「K&L の種は、友人の Ikrima Elhassan が iPad 上に拡張現実の踊るクマを作ったところからはじまりました。私がARを見たのはこれがはじめてで、とてもワクワクしました。」 Strassburger 氏はやがて Ikrima 氏と共同で Kite & Lightning を創設しました。
二人は AR を共同制作するようになり、2013 年初頭に Kite & Lightning が生まれました。まだ当時はよく知られていなかった AR をロサンゼルスのほぼ全ての映画スタジオに売り込みました。ある日、 Ikrima 氏はオフィスに Kickstarter から届いたばかりの Oculus DK1 を持ってオフィスにやってきました。それがチームの転換点になりました。Strassburger 氏 は笑って当時のことを振り返ります。「それから 20 分も経たないうちに、AR をやめて VR にすることにしました！」
いくつか VR の実験作品を制作し、NBC の The Voice や Lionsgate の映画 Insurgent 向けの Shatter Reality といった実際の仕事を経て、チームは現在のプロジェクトに取り組むようになりました。パーティー格闘 VR ゲームの Bebylon Battle Royale です。
この Bebylon が Real-Time Live! でのデモのインスピレーションになっています。 Strassburger 氏は説明します。 「不死身の Beby キャラクタ達に命を吹き込む方法を探すのに必死でした。フェイスキャプチャが大きな壁でした。Apple が デスクトップ環境でフェイスキャプチャを広く利用できるようにしていた Faceshift を買収したことを知っていたので、その技術がどの程度 iPhoneX と ARKit に統合されたのかが気になっていました。テストしてみるとフェイスキャプチャ技術のコア全体を縮小して iPhoneX に搭載したことがわかり、とてもとても興奮しました。」
さらにこの技術を探求することが日曜の個人プロジェクトになりました。会社での平日は既にゲーム開発でいっぱいいっぱいだったからです。Kite & Lightning は既にボディキャプチャを行う Xsens MVN スーツを購入していたので、これと 「本当に着心地が悪い $45 のペイントボール向けヘルメット」 を組み合わせることで、Real-Time Live! にエントリーするための装備が整いました。
でも、まだ一つ、必要不可欠な要素が抜けていました。Strassburger 氏は述べます。「エントリー時の内容は、フェイスキャプチャを改善して Xsens スーツでボディキャプチャを追加したリアルタイムではないテスト結果でした。Maya でオフラインでレンダリングされたものです。アンリアル エンジンでリアルタイムで動くようになったのは、Real-Time Live! にエントリーが受け入れられたという知らせがあった後でした。」
このモーションキャプチャ環境をアンリアル エンジン で動かしたいという気持ちはあったのですが、それを後押ししたのは Real-Time Live! に選ばれたことでした。エントリーする気持ちになったのは Xsens の Chris Adamson 氏のおかげだと Strassburger 氏は述べます。「エントリーをすすめてくれたことに感謝しています。結果は元々想像していたよりはるかに面白いものになり、これから節約できる（リアルタイムで作業できるので）時間も膨大です！」
このパズルの最後のピースはアンリアル エンジンのプラグインでした。IKINEMA LiveAction が Xsens スーツの体のデータをストリーミングし 足の滑りと体の貫通を防ぎながら Beby キャラクタにリターゲットします。「体のキャプチャデータをキャラクタとバーチャル環境に適応する上で、本当にこれが鍵になりました。通常ではポストプロセスで対応しないといけないようなことがリアルタイムで行えるのです。」
プラグインのホストとなることはアンリアル エンジンがこのプロジェクトで果たした数多くの役割の一つに過ぎません。一番わかりやすい役割は、すべてのリアルタイムキャプチャデータを受け入れて、美しいリアルタイムレンダリングを行うことです。
Strassburger 氏は述べます。「今から振り返ると、ほとんどの大変な仕事はエピック ゲームズが既にやっていて、自分はそこに繋げるだけだったと思うとおかしいですね。例えば、エピック ゲームズは既に LiveLink を ARKit に統合する作業をしていたので、iPhone X のデータをエンジンにストリーミングするのは、IP アドレスを打ち込むだけといっていいほど簡単でした。 そしてエピック ゲームズの Face AR サンプルプロジェクト（フェイスキャリブレーション、データスムーズといった時間の節約になる貴重な内容が数多く含まれています）のおかげで、エピック ゲームズのKite の少年キャラクタを自分の Beby キャラクタに置き換えて、同梱のシーンと iOS アプリケーションをビルドするだけで、お見事、iPhone X からのストリーミングが完璧に動きました。」
Strassburger 氏はまたエピック ゲームズの最新のDigital Human Meet Mike サンプルプロジェクト（Mike Seymour 氏をメインにしたサンプル）もダウンロードしました。「スキンシェーダー、眼球と、クールなライティングリグをコピーしたら、本当にいい見た目の Beby 達がリアルタイムでレンダリングされるようになりました。」
利点はそれだけではありません。Strassburger 氏は述べます。「アンリアル エンジンのこのセットアップで一番可能性に期待しているのはエディタのシーケンス レコーダーを使えることです。演技とオーディオを 1 クリックで記録できるのです。演技パフォーマンスをキャプチャしてゲームに投げ込むのは、これ以上簡単にはならないでしょう！」
では、この新しいパイプラインによって Kite & Lightning にどのような未来が開けるのでしょうか？Strassburger 氏は述べます。「このセットアップで楽しむつもりです。俳優の演技によってBebylon のキャラクタに命が吹き込まれていくことを楽しみにしています。このバーチャルプロダクションのアイデアを使って、Twitch で Beby キャラクタをライブストリーミングしてみようと思っています。AR とも組み合わせるかもしれません。サンタモニカのオフィスから生放送です。」
Strassburger 氏は更に面白いことも考えています。「この技術の組み合わせによって新しい可能性の扉が開きます。ゲームやプレビズのキャラクタに命を吹き込むだけではなく、リアルタイムのバーチャルキャラクタパフォーマンスのストリーミングやバーチャルプロダクションも可能です。」
「複数の俳優の演技をアンリアル エンジンにストリームして、データをキャプチャすることも、最終的なレンダリング結果をライブストリームすることも、今では簡単です。さらに複数のバーチャル撮影者とバーチャルセットを組み合わせれば、ジェームズ・キャメロンと Weta がアバター制作で作り上げたのと同じようなバーチャルプロダクション環境を自宅でも作り出せるのです。 これはとても素晴らしいことです。技術も面倒ではなくなり、実行にも大量の人間は必要ありません。つまり、時間のプレッシャーなしによりよいコンテンツを作ることに集中できるからです！」
Strassburger 氏はまだ Real-Time Live! の受賞の余韻を味わっていますが、それでも最初は受賞を信じられませんでした。「正直なところ、自分が受賞したことにびっくりしました…ステージから降りて授賞式が終わったところで、ようやくこれが、ただの選外佳作ではなくて、本当の最終の賞だと気が付きました！素晴らしいリアルタイムプロジェクトばかりだったので、受賞できたことを非常に光栄に思います。」
「毎日 K&L で共に働く素晴らしい仲間と、Xsens 社、IKINEMA、エピックゲームズでこの冒険を助けてくれたすべての人と、特に、エピック ゲームズの作品とコミュニティに対する哲学とアプローチに、ハイファイブして感謝したいと思っています。これほど高品質な素晴らしいものの受け手でいられることをありがたく思っています！」
あなたも賞を取るようなリアルタイム体験を作ってみたいと思いませんか？アンリアル エンジン 4.20 をダウンロードして可能性を体験してみましょう！