Intel は、斬新なツールとテクノロジーを導入して、世界中の熱心なコンテンツ クリエイターを盛り上げることをいつも楽しんでいます。ご存じない方もいると思うので念のため説明しておきますと、Intel RealSense cameras は赤外線カメラを使って通常のRGB 画像と映像に加えて深度も計算します。このテクノロジーを使ったアプリケーション開発を支援するために、インテルは顔認識、画像分割、3D スキャンを含むコンピュータ ビジョン アルゴリズムのライブラリである RealSense SDK を作成しました。
このテクノロジーを使ったゲーム開発の潜在的なユースケースの中から RealSense プラグインを紹介したいと思います。これは、RealSense SDK の機能を UE4 のビジュアル スクリプト システムへ公開するためにインテルのゲーム エンジニア達が連携して作り上げました。
プラグイン ソースコードとサンプル プロジェクトは こちら で確認できます。
プラグインの概要
プラグインは Actor コンポーネントのセットとして組み込まれます。それぞれのコンポーネントは RealSense SDK とは異なる機能のセットをカプセル化します。かなり軽量のこれらのコンポーネントを使って、3D 感知機能をゲーム内のほぼすべてのアクタに追加することができます。そして、同じコンポーネントの別のインスタンスをインスタンス化するだけで、このデータにどこからでもアクセスすることができます
Plugin コンポーネント
現在、プラグインはこれら 3 つの RealSense コンポーネントで構成されています。
- Camera Streams コンポーネント:RealSense カメラから Raw カラーと深度映像ストリームへのアクセスを提供します。
- Scan 3D コンポーネント:現実世界のオブジェクトと人の顔 (下の画像) のスキャンをサポートします。
- Head Tracking コンポーネント (プレビュー):ユーザーの頭の位置と方向を探知し追跡します。
近日中に次のコンポーネントがプラグインに追加されます。ご期待ください。
- Head Tracking コンポーネント (フル):最高 76 ヶ所の顔の目印、脈拍、顔の表情を探知および追跡する機能が追加されます。
- Background Segmentation コンポーネント:画像のフォアグラウンドをバックグラウンドから切り離して、ライブビデオ上に「緑の画面」を作成します (上図)。
- Scene Scanning コンポーネント:ユーザーが生成したコンテンツと拡張された現実体験の作成を支援するために、 3D モデルを大画面で生成します (約 2m x 2m)。
- Hand Tracking コンポーネント:22 の特徴で手の骨格を探知および追跡し、14 種類のジェスチャを認識します。また、応答型のカーソル形式のインタラクション用に 1 ヶ所だけ追跡します。
- Speech Recognition コンポーネント:ディクテーションおよびボイス制御インターフェースのキーワードの探知のために、入力スピーチをテキストに起こします。
アンリアル エンジン用 Intel Realsense プラグインを使った新しい方法でワールドを見てください。
プラグインの機能とアーキテクチャの詳細および開始方法のビデオは こちら でご覧いただけます。