2016.2.7

通过虚幻引擎 4 的 Intel RealSense 插件,以新的方式观察世界

作者 Geoff Douglas

Intel 一直都对引入创新的工具和科技感兴趣,这些工具能够为世界上热情的内容开发者增加能量。如果你还不甚了解,Intel RealSense camera 在普通的 RGB 照片和视频技术上,采用红外光线来计算深度。为了帮助开发这个技术的应用程序,Intel 创建了 RealSense SDK,一个用来做可视化算法的库,包括面部识别,图片碎片化,以及 3D 扫描。

Short-Range, User-Facing RealSense Camera Developer Kit

 

由于看到了这个技术在游戏中的潜在应用,我们现在来为大家介绍 RealSense 插件,这是 Intel 的游戏工程师们合作的产物,将 RealSense SDK 中的各种特性提供出来以便在虚幻 4 的蓝图可视化脚本系统中使用。

这里可以查看插件的源代码和示例项目。

插件概述

这个插件是一组 Actor 组件的形式存在,每个组件封装了 RealSense SDK 中的一些特定的功能。通过使用这些相对轻量的组件,可以为游戏中几乎每种 Actor 添加 3D 的感应能力,并且访问这些数据也很简单,只需要对同一个组件在初始化一个实例即可。

Figure 2: ace scanning and mapping in Unreal Tournament using the Scan 3D Component

插件组建

目前,插件有三个 RealSense 组件:

  1. Camera Streams 组件: 提供 RealSense 摄像头的原始颜色和深度的视频流。
  2. 3D 扫描组件: 支持真实世界的物体扫描,以及人脸扫描(如上图)。
  3. 头部跟踪组件(预览): 支持对用户头部的位置和角度的检测和跟踪。

 

Figure 3: Depth-based “green screen” effect using the Background Segmentation Component (coming soon)

接着很快就会更新,可以期待该插件即将到来的更多组建:

  1. 头部跟踪组件(完整版): 用于检测和跟踪高达 76 面部标志点,脉搏速率,和面部表情附加功能。
  2. 背景碎片组件: 将图片的前景和背景分离开,为实时视频创建“绿幕”的效果(如上图)。
  3. 场景扫描组件: 对大场景(约 2m x 2m 的区域)生成 3D 模型来协助创建用户生成的内容并加强现实世界的体验(如下图)。
  4. 手部跟踪组件: 检测并跟踪 22 个手部标志点,识别 14 种手势,或者跟踪一个点来作为鼠标类型的交互响应。
  5. 语音识别组建: 将输入语音转换为文本来翻译,或者用于检测关键字来作为语音控制功能输入。

 

Figure 4: Augmented reality view into the world using the Scene Perception Component (coming soon)

对于这个插件的更多细节功能和架构,以及一些教学视频来帮助更快的上手,请查看这篇文章

最近文章

虚幻引擎设计制造实时可视化网络研讨会

准备好迎接更快速更高效的实时产品设计流程了吗?本次网络研讨会绝对不容错过!

2018:游戏行业迎来虚幻大年

随着各大游戏媒体纷纷选定自己最期待的2018年游戏,我们发现这些榜单上随处可见备受期待的虚幻引擎作品!

NVIDIA Edge计划获奖者:2017年12月

虚幻社区再次交出完美成绩单。快来看看看把NVIDIA GTX 1080Ti带回家的杰出项目并了解自己该如何成为下一个得奖者!