在这个播客中，The Future Group的首席创新官Øystein Larsen介绍了制作实时交叉现实表演的挑战，并讨论了他对这种技术的迷恋是如何引领他和他的团队挑战极限、创造奇迹的。
交叉现实（XR）包含了虚拟现实、混合现实和增强现实。The Future Group已经涉足所有这些领域并在其中轻松切换，制作出了一些突破性的项目，例如《Lost in Time》、The Weather Channel关于环境危险的系列节目，以及2018年英雄联盟全球总决赛开幕式上游戏角色在舞台上的实况表演。
The Future Group的XR制作始于《Lost in Time》系列节目，它是2017年在挪威播出的。在这个节目中，参赛者们要在各种虚拟世界中迎接挑战，这些虚拟世界的背景设置在不同的时空，包括侏罗纪时代、1920年代的纽约和冰河时代等。《Lost in Time》是在绿幕摄影棚中拍摄的，参赛者们在完成挑战时的实况会与这些虚拟环境合成到一起。
虽然参赛者可以实时地在虚拟环境中导航和交互，但每一期节目都是在几个月后播出的，因为需要由The Future Group强化画面。“在节目播出之前，我们希望让它更进一步，”Larsen说。“所有的影像实际上都是在虚幻引擎中通过流程输出的，质量进一步提高。我们渲染出4K原始线性文件，将它们输出到三台合成一切的Flame机器中。因此工作本身是相当传统的，但是流程的设置使我们能够在4K分辨率下每分钟渲染1000帧。”
《Lost in Time》吸引了全世界的目光，这是因为它既有前所未见的沉浸式竞技，还包含游戏成分，能让坐在家里的观众通过移动设备在播出期间参与竞争。不过这已经是一年半前的事了，在那以后，The Future Group决心进一步挑战交叉现实广播节目的极限。
在2018年，他们为The Weather Channel制作了一系列直播节目，综合运用了播音员身后的实时投影和前景中的混合现实拍摄。在TWC系列节目中，实时的3D元素包括倒塌的电话线杆、撞毁的汽车、闪电、火焰和暴涨的洪水，以及包含关于这些天气危险的信息的弹出式告示。
（本视频转载自YouTube：视频原址）
对于这类视频，The Future Group面临的挑战是既要表现天气现象，又不能让项目运用太多计算。“我们总是想方设法使用引擎中的技巧演绎同样的东西，”Larsen说。“在我的团队里，有几个经验非常丰富的游戏美术，他们在游戏界干了20年，知道各种制作实时画面的秘诀。”交叉现实K-pop
The Future Group最受人瞩目的项目之一是为韩国仁川的拳头游戏2018英雄联盟世界总决赛开幕式制作的。当歌手和舞者在成千上万名观众面前进行令人目眩的实况表演时，舞台上的巨型显示器打出了游戏中的K-pop团体K/DA的虚拟成员为演出助兴。除了会场的大量观众之外，全世界还有9000多万人在网上观看了直播。
（本视频转载自YouTube：视频原址）
当舞台上的众人一起表演该团体的主打歌曲“Pop/Stars”时，实况摄像机在周围盘旋，让观众们看到英雄联盟中的角色也在实况表演者身边一同歌舞，而且两者实现了完美的同步。游戏中的角色们还不断飞入和飞出，投射火焰，通常还会展示他们特有的皮肤和能力。在这幅幻景中，最突出的是角色们在灯光灿烂的舞台上展示的逼真阴影和反射，这都是根据盘旋的摄像机的追踪数据实时渲染的。Larsen估计在这次表演中，虚幻引擎每秒渲染了3000万个多边形。该团队选择了平面反射，而不是计算较少的屏幕空间反射，“因为前者的效果要好得多，”Larsen说。
当各种数据穿梭于管道时——实时摄像机的跟踪数据和视觉效果，从虚幻引擎更新的摄像机视图和渲染，以及到舞台屏幕的投影——这个增强现实表演的渲染速度达到了惊人的每秒59.94帧，投影仅仅比实况舞台表演慢6帧。
对Larsen来说这都是在一天的工作中完成的，他说这次表演的设置“相当传统”，只不过是运用实时技术创造精彩节目的又一种方法。借助Digital Domain的FACS装置和该集团现有的音乐视频中的舞蹈序列，团队在韩国现场花了5天时间整合所有数据。
按照原计划，在AR表演期间应该限制光照变化，但Larsen按捺不住试验的心思。“通过尝试将极限抬高那么一点总是好的，”他说。“我想给表演增加一点特别的趣味。”
改进交叉现实游戏
在创造这些里程碑式的交叉现实体验的过程中，The Future Group开发了一些在虚幻引擎基础上运行的自定义工具。现在，他们以名为Pixotope的套件形式提供这些工具。
（本视频转载自YouTube：视频原址）
Pixotope的设计目的是简化高端电影画质的交叉现实内容的创作。通过结合使用虚幻引擎和Pixotope，设计师们可以快速打造虚拟演播室和带有地形和植物叶子的增强内容，利用粒子系统，以及模拟镜头畸变和景深等摄像机和镜头特性。The Future Group自身也在扩张，在美国设立了新的办事处，并且即将推出更多项目。而在继续挑战技术极限的同时，Larsen也不忘提醒我们，用于交叉现实体验的工具的进步是由美观需求推动的——改进颜色校正、改善阴影——而不是反过来。“如果你有使用实时引擎的经验，那显然是锦上添花，”他说，“不过我们的工作主要创作艺术。”
想要创作你自己的XR体验吗？下载虚幻引擎，向这个新兴领域迈出第一步吧。