August 7, 2018

利用Mixed Reality Capture让用户沉浸在虚拟世界中

作者 Mike Beach

在过去几年间,我们的开发社区已经将虚幻引擎的虚拟现实(VR)增强现实(AR)平台推升到了新的高度。随着全球众多热情而熟练的开发者不断开发和发布高品质的VR和AR体验,我们很高兴能继续为我们身边的这些创意提供支持。

为了支持各地XR开发者的努力,我们一直在使用虚幻引擎4构建解决方案,寻求将真实世界视频与虚拟世界合成的方法。虚幻引擎4.20已经开放了Mixed Reality Capture的早期体验版本。这项工具能让你将自己(或者任何跟踪对象)投射进虚拟体验中。

MixedReality_03.gif
Here, I’m using a drone to fire a laser at a robot in Robo Recall!

设置
尽管设置捕捉空间非常简单,但是你仍需要在现实世界中准备一些工具以便进行下一步。以录制《Robo Recall》为例,我们使用两个三脚架,并在它们之间撑起了一张绿幕,一个固定安装的摄像头,一个用于捕捉摄像头信号的设备,三台Oculus传感器以及用于游戏的Rift头盔和Touch操控手柄。
MixedRealityCapture_Montage.jpg
一旦设备搭建完毕,我们就使用一个能够实现空间映射的校准应用程序将真实世界中的物体映射到虚拟世界中。
MixedRealityCapture_Pic3.jpg
在一切都校准恰当后,我们便可以开始游戏,然后选择合适的录屏软件来录制合成视频(录制《Robo Recall》时我们使用了OBS)。

小提示——你可以多尝试一些渲染内容以及渲染方式,同时借助Mixed Reality Capture捕捉渲染对象,以便您的项目呈现出最佳的展示效果。注意,我背后枪套中的手枪模型并没有渲染出来,手部模型也隐藏了起来。我们在录制中关闭了它们的显示状态,因为它们的尺寸和位置是根据玩家体验而不是观众视角进行调整的,而且由于它们属于预制模型,所有看起来会不太对。和多数时候一样,经常进行测试和迭代开发!
MixedRealityCapture_Screen2.jpg

更多详情
想了解更多有关Mixed Reality Capture的功能信息,包括你该如何校准支持设备,如何将之用于与虚拟世界进行合成,请阅读我们的MRC早期版本开发文档,以便开始创建属于您自己的沉浸体验。

文档中没有您的视频捕捉设备?我们以模块化的方式构建了这个系统,以便轻松实现新的捕捉方式。如果您对集成不同的视频捕获方案很感兴趣,请查看引擎中的“Media”模块,搜寻一系列可以实现的接口。目前,我们正使用WmfMedia模块来进行回放。

我们希望了解人们如何利用这一特性并以一种崭新的方式展现他们的项目,同时我们还希望能获得有关该工具的反馈。请在MRC官方论坛的反馈帖中给我们留言,分享您的看法!