2018年7月19日

虚幻引擎为使用手提式摄像机进行的实时合成提供技术支持

作者 Ken Pimentel

在拉斯维加斯举行的NAB 2018上,AMDARwall联手展示了实时渲染在虚拟制作中的新用途——会对摄像机视角的改变作出反应的增强现实幕墙,使用此方法就无需在后期制作中将绿幕画面与渲染的CG进行合成。ARwall Effects (ARFX) System在AMD硬件上运行,面向所有NAB参加者公开展示并允许其进行演示。

借助ARFX System,使用虚幻引擎计算的实时图像可显示在巨大的屏幕上并作为场景的背景使用,并且这些图像会随摄像机的移动实时更新。当真人演员站到幕墙前,就可拍摄即时“合成”的镜头——实时3D虚拟场景扩展。
 

(本视频转载自YouTube:视频原址

AMD在NAB 2018上展示ARwall技术

“这一过程与使用绿幕的过程相似,只不过现在不需要使用绿幕了。”AMD的沉浸式技术团队总监Frank Vitz说,“摄像机可自由移动。你可以直接在摄像机中看到合成过程。”
 
使用ARwall系统,就无需担忧会影响绿幕镜头的瑕疵了。“不会出现绿幕反光。头发部分也不会出现问题。”Vitz说。
 
ARFX System是背投技术发展的产物,背投技术使电影制作人在实时拍摄过程中可将预先拍摄好的环境影片投射到演员身后的屏幕上。但是,此类技术仅能支持垂直于屏幕的视角,任何其他角度都会立马将效果毁掉。
 
借助ARFX System,摄像机就能够移动并在任意角度拍摄,并且在借助手持式摄像机的情况下可在虚拟场景中随意移动以获取完全沉浸式的电影制作体验。CG环境中近处和远处的元素视角可实时按照预期作出反应,不会因2D投射而遭受任何限制。除此之外,演员们现在可以看到环境并对环境作出反应,这有助于他们改进自己的表演。
Physical_Set_Only.jpg
示例用途:实际场景是一个可在上面行走的平台(在图中位于一个空白的视频墙前面)。
Physical_Set_and_ARwall_railings.jpg
在视频墙上的投射可提供经调整与实际场景对齐的虚拟场景扩展(扶手、楼梯)。当摄像机移动时,场景扩展的视角也会随之改变,以在相应的角度与真实场景始终保持“附着”关系。
Vantage-point1.jpg
环境的其余部分也会添加到投射中,为实时更新的场景提供全屏背景,即使在使用移动或手持式摄像机的情况下也是如此。
vantage-point-3.jpg
可对位于视频墙前的真实场景中的演员们进行现场拍摄并实现摄像机内合成,而且背景角度也会随着摄像机的移动实时更新。

“能够实时无缝合成为虚拟制作赋予了神奇的力量。”Vitz说,“这项神奇新技术的问世使可用于虚拟制作的工具选择更加丰富。”

为了实现背景的实时更新,ARFX将虚幻引擎与一套可安装在摄像机上的追踪器一起使用。该系统还可使用AMD的Advanced Media Framework(AMF)和IRT传感器为虚幻引擎提供光照信息。Zcam 360摄像机会收集虚幻引擎用于为虚拟场景扩展提供光照的光照信息,以与真实场景匹配并实时对光照变化作出反应。在NAB上展示的系统由AMD Ryzen Threadripper和两个Radeon Pro WX 9100 GPU驱动。
 
“在真实感和保真度方面,电影制作人可谓要求最为严苛的创作者。”ARwall的CEO Rene Amador说,“我们认识到要使ARwall能够取得成功,我们需要一款能够满足我们的所有要求以及制作环境所要达到的精确性和需求的引擎。虚幻引擎完全符合这些要求并且超乎我们的想象。每个显示的更新都为我们的团队带来一种无法言说的喜悦。”

想要试用虚幻引擎?请马上下载Unreal Studio测试版,接触虚幻引擎以及导入/导出工具、学习视频和更多其他内容!