2016-2-7

通过虚幻引擎 4 的 Intel RealSense 插件,以新的方式观察世界

作者 Geoff Douglas

Intel 一直都对引入创新的工具和科技感兴趣,这些工具能够为世界上热情的内容开发者增加能量。如果你还不甚了解,Intel RealSense camera 在普通的 RGB 照片和视频技术上,采用红外光线来计算深度。为了帮助开发这个技术的应用程序,Intel 创建了 RealSense SDK,一个用来做可视化算法的库,包括面部识别,图片碎片化,以及 3D 扫描。

Short-Range, User-Facing RealSense Camera Developer Kit

 

由于看到了这个技术在游戏中的潜在应用,我们现在来为大家介绍 RealSense 插件,这是 Intel 的游戏工程师们合作的产物,将 RealSense SDK 中的各种特性提供出来以便在虚幻 4 的蓝图可视化脚本系统中使用。

这里可以查看插件的源代码和示例项目。

插件概述

这个插件是一组 Actor 组件的形式存在,每个组件封装了 RealSense SDK 中的一些特定的功能。通过使用这些相对轻量的组件,可以为游戏中几乎每种 Actor 添加 3D 的感应能力,并且访问这些数据也很简单,只需要对同一个组件在初始化一个实例即可。

Figure 2: ace scanning and mapping in Unreal Tournament using the Scan 3D Component

插件组建

目前,插件有三个 RealSense 组件:

  1. Camera Streams 组件: 提供 RealSense 摄像头的原始颜色和深度的视频流。
  2. 3D 扫描组件: 支持真实世界的物体扫描,以及人脸扫描(如上图)。
  3. 头部跟踪组件(预览): 支持对用户头部的位置和角度的检测和跟踪。

 

Figure 3: Depth-based “green screen” effect using the Background Segmentation Component (coming soon)

接着很快就会更新,可以期待该插件即将到来的更多组建:

  1. 头部跟踪组件(完整版): 用于检测和跟踪高达 76 面部标志点,脉搏速率,和面部表情附加功能。
  2. 背景碎片组件: 将图片的前景和背景分离开,为实时视频创建“绿幕”的效果(如上图)。
  3. 场景扫描组件: 对大场景(约 2m x 2m 的区域)生成 3D 模型来协助创建用户生成的内容并加强现实世界的体验(如下图)。
  4. 手部跟踪组件: 检测并跟踪 22 个手部标志点,识别 14 种手势,或者跟踪一个点来作为鼠标类型的交互响应。
  5. 语音识别组建: 将输入语音转换为文本来翻译,或者用于检测关键字来作为语音控制功能输入。

 

Figure 4: Augmented reality view into the world using the Scene Perception Component (coming soon)

对于这个插件的更多细节功能和架构,以及一些教学视频来帮助更快的上手,请查看这篇文章

最近文章

英伟达、英特尔赞助2018年虚幻E3大奖

虚幻引擎、英伟达和英特尔将在2018年的E3大展上共同表彰虚幻引擎开发者并为他们颁奖。

Vertical Robot的《红色物质(Red Matter)》以虚拟现实的方式展现科幻冷战故事

冷战对某些人来说可能只是遥远的回忆,但Vertical Robot在反乌托邦式的科幻VR作品《红色物质》中再现了这个曾经的热门话题。

VR中的实时协作为设计领域带来颠覆性变革

身处多地的设计师们不可能总是齐聚一堂进行协作,但现在这种情况发生了改变。了解两家公司如何利用虚幻引擎实现比现场协作效果更佳的远程协作设计体验。