August 2, 2018

NEP如何利用虚幻引擎为冬季奥运会以及F1大奖赛提供无与伦比的现场直播

作者 Andy Blondin

NEP协助它的客户开发并实现出色的现场直播活动。通过结合创意以及IT方面的专业技能,该公司提供的服务改变了全球视频娱乐的制作、管理和发行方式。在过去的两年中,NEP建立了一支专门使用虚幻引擎的开发团队,以便满足客户在直播场景中加入实时图像这一日益增长的需求。

我们采访了NEP的高级虚幻引擎工程师Roel Bartstra,从而近距离了解他们的工作内容。 NEP_The_Netherlands_HighresScreenshot00002.jpg
NEP荷兰是什么时候开始使用虚幻引擎的?

NEP的首个虚幻引擎项目是在几年之前,在我加入公司之前就开始了。团队最早接手的项目是用虚幻引擎为一个名为“我打赌我能做到”(I Bet That I Can Do It)的本地游戏直播节目制作一个增强现实虚拟场景。在那个项目之后,NEP决定在硬件、软件、人员和研发方面加大投资。

你能否描述一下增强现实对于直播制作意味着什么?

我们通过创造一些现实中不可能实现的效果来为客户增加价值,例如某些时候,场景空间十分有限,或者中意的工作室已经被人预定。我们的虚拟场景客户通常需要在绿幕前进行直播,而这类场景空间通常非常狭小。有些时候,客户会需要对虚拟场景进行扩展,这种情况下,场景的前景中会放置一个或多个道具,然后通过幕后处理再加入增强现实图像和虚拟布景道具。其它场景则没有物理道具,表演者身前身后的一切布景都是用电脑合成的图像。

这种制作方式被称为“增强现实”,因为表演者可以与这些实时生成的动态图像进行交互,而将这些图像神奇般融合在一起的正是虚幻引擎,并且通常是在直播过程中实时实现的。我们还可以在这些场景中加入数据驱动图像,实时更新与新闻和体育数据相关的内容。这项技术被广泛应用在Eurosport对冬季奥运会的直播中,以及自由全球旗下Ziggo Sport体育频道对F1大赛的报道。我们还有一位客户打算在节目中加入一个虚拟平台,创建一个无法用现实布景实现的视觉效果。
NEP_The_Netherlands_HighresScreenshot00012_stitch.jpg 你们是为其他的制作公司提供外包服务,还是在为现有制作/图像团队提供合成服务?

这取决于客户。我们会把它看作对多镜头拍摄运营的一种补充,但是这种端到端的图像管理服务也可以单独提供。有些时候,我们会参与到方案的设计阶段,而在面对另外一些客户时,我们则会以现有设计方案为执行基础,然后想办法实现这些方案。客户中的许多人习惯我们为他们提供光线追踪图像,以此了解节目的显示效果。每当遇到这种情况,我们就会用UE4实时渲染图像来满足客户的愿望。

为什么NEP会选择对AR进行投资?

因为NEP荷兰的常务董事Ralf van Vegten坚信AR将是电视直播中动态虚拟场景制作的未来。

我的职业经历源于游戏行业。15年前,我就开始用虚幻引擎设计游戏关卡,并且为《虚幻竞技场》制作MOD。我差不多在两年前加入了NEP,帮助他们扩大虚幻引擎团队,并且通过整合我在游戏行业中积累的经验,满足当前的直播需求。

在早期阶段,我们在技术实力和定制化开发上面临着一定程度的门槛,导致成本变得非常高昂,但是NEP在人力和技术上投入了大量资金,大大提升了在直播制作中使用AR技术的成本效益。我们始终在不断修改和改良我们的方法,研究哪些制作层面可以用AR技术代替,如何让这一过程更加实用。

在虚幻引擎的支持下,图像变得如同照片一般写实,所以我们已经真的可以用AR技术创建整个演播室,而不是在现实中搭建一个演播场景。到目前为止,客户对结果非常满意。我们最初一个月只有一场AR节目,而现在,我们可以在任何时间段同时播出四到五个AR节目,并且每周还能有一到两次的AR直播节目。
NEP_The_Netherlands_HighresScreenshot00008.jpg 你们为什么要专门保留一支虚幻引擎开发团队?

虚幻引擎允许我们以高帧率渲染照片级别的真实图像,而这一点恰恰非常重要,因为我们是以每秒50帧的速度进行节目直播。其他我们测试过的游戏引擎技术无法在实时渲染状态下实现那种程度的图像保真度水平。UE还拥有海量的内置工具,它们拥有强大的功能,能够让开发变得又快又容易。它还能很好地兼容我们合作伙伴Zero Density制作的工具,两者一起为我们提供了更多的创造空间,让我们可以用引擎实现更多效果。

直播公司是如何看待将一部分办公场所转变为虚拟演播室这种投资?

重点在于把附加价值解释清楚:AR真正意义上能让你想到的一切都变为现实——这比使用不同的布景场地、道具等等更具有(成本)效益。例如Eurosport,他们就把一个5×5米大小的休息室转变成一个小的绿幕演播室。通过在天花板上开辟几扇天窗,他们就能确保有足够的光线进入室内。这样做的成本非常低廉。在NEP,我们同样也在为我们位于荷兰的若干个演播室打造方形的绿幕演播室,这样人们就可以租到功能齐全的虚拟演播室(预先配置了所有必要的硬件和软件),以便开展一次性的直播工作。
NEP_The_Netherlands_HighresScreenshot00004.jpg在这些新增演播室中,哪些是核心的硬件和软件?

不同客户情况会有所不同。对于多数客户来说,我们会提供演播室中的所有的硬件和软件,以及负责掌控将哪些内容加入场景并显示在虚拟屏幕上的AR摄像师和图像管理员。我们还可以培训客户的内部团队。只要将用于虚幻引擎的图形软件包转交给客户,我们就能帮助他们设置并运行类似的系统。

最重要的是,是我们的团队成员让一切与众不同。NEP荷兰是一个以人为本的组织。我们的团队会不断接受有关新技术、工作流以及专项方面的培训。我们鼓励成长、创新以及事业追求,因为我们坚信媒体行业的瞬息万变使得它对行业知识有着最高的要求。

你的UE团队中,美术人员所占比例更多,还是技术人员比例更多?

兼而有之。我们有一些3D美术师同时也是设计师,只是他们之前来自游戏行业。我们还有一些会建模的技术美术师,但多数时候负责创建蓝图脚本和自定义材质,还负虚拟与现实的合成工作——也就是将模型实时渲染到虚拟布景环境中所涉及的所有技术层面工作。
NEP_The_Netherlands_ScreenShot00017_stitch_processed.jpg 你们为每个客户平均使用了多少个资源?

这取决于节目的性质,所以,对于小型演播室中的短幅新闻直播来说,可能只有10到50个资源,但是对于F1这样的直播来说,我们大概会制作100个资源。而这些通常会与他们内部团队创造的已有资源结合使用,因此整个节目大约会用到1000个资源。

相比其它照片级别的CG产品类型,在为虚拟场景制作数字资源时会有什么不同的考量因素吗?

当我们创建数字资源时,我们希望它们看起来尽可能逼真。为了让布景看起来“真实”,我们实际上会在创建模型时故意留下一点瑕疵,比如木板之间的接缝、参差不齐的边缘,否则它们看上去太完美以至于无法令人信服。

直播公司选择虚幻引擎是因为它可以节省时间和成本,还是因为他们希望节目在视觉效果上更加灵活多变?

灵活性当然是我们的工作内容之一,但通常来说,这么做是为了节省成本和时间。尤其当某个节目需要在布景中使用大量LED灯光时,情况更是如此。创建数字LED灯光实际上不需要任何成本,所以与实际LED布景灯光相比,使用虚拟屏幕会廉价得多。

使用游戏引擎有可能会改变电视直播的方式吗?

是的,虚幻引擎正在改变虚拟制作行业的游戏规则。不再需要布置物理场景,因为虚拟布景设计和资源现在可以动态实时地进行生成、迭代和修改。对于新闻直播、体育评论、游戏节目以及任何类型的现场节目或者后期制作节目来说,虚幻引擎都是一种革命性的技术,无论这些节目采用的是风格化的图像还是照片级的真实图像,它们都能从基于数据驱动的实时电脑图像中获益不少。