图像由All of it Now提供
BTS联手酷玩乐队奉献现场全息表演《My Universe》
2022年3月15日
从巨大无朋的太空船到手舞足蹈的外星人，酷玩乐队和防弹少年团（BTS）最近的单曲《My Universe》的音乐视频以引人入胜的方式汇集了两支世界知名乐队。这是个历史性的时刻，其意义不仅在于它是首支由两大当红团体合作并登上美国音乐排行榜榜首的单曲。在幕后，有五家视觉特效工作室合作运用了体积视频，该技术有可能改变娱乐节目的制作方式。
首先是Ingenuity Studios，这家视觉特效工作室使用一套包含108个摄像机的360度体积捕捉设备，从每个角度记录每名歌手的表演。使用体积捕捉意味着两个超级乐队的每名成员都是以体积的形式被录制成全息影像，而不是平面影像。这也意味着虽然防弹少年团是在韩国的绿幕前拍摄，而酷玩乐队是在西班牙拍摄，他们能够在视频中一起演唱。每名歌手的体积录制内容可以从任何角度合成——全都具备逼真的深度、色彩和光照。
最终成果令人惊叹不已。但是当洛杉矶的创意工作室All of it Now参与制作时，他们又和酷玩乐队的创意团队合作，进一步完善相关概念。
“我们想把全息影像放进真实世界，但这需要一个契机，”All of it Now的首席执行官兼联合创始人Danny Firpo说，“我们经过一番搜索，发现了[美国全国广播公司的]《美国好声音》，这档节目拥有的基础设施完全能满足我们让两个团体完美地同步表演的需求。” 观看视频
首先是Ingenuity Studios，这家视觉特效工作室使用一套包含108个摄像机的360度体积捕捉设备，从每个角度记录每名歌手的表演。使用体积捕捉意味着两个超级乐队的每名成员都是以体积的形式被录制成全息影像，而不是平面影像。这也意味着虽然防弹少年团是在韩国的绿幕前拍摄，而酷玩乐队是在西班牙拍摄，他们能够在视频中一起演唱。每名歌手的体积录制内容可以从任何角度合成——全都具备逼真的深度、色彩和光照。
最终成果令人惊叹不已。但是当洛杉矶的创意工作室All of it Now参与制作时，他们又和酷玩乐队的创意团队合作，进一步完善相关概念。
“我们想把全息影像放进真实世界，但这需要一个契机，”All of it Now的首席执行官兼联合创始人Danny Firpo说，“我们经过一番搜索，发现了[美国全国广播公司的]《美国好声音》，这档节目拥有的基础设施完全能满足我们让两个团体完美地同步表演的需求。” 观看视频
传统全息影像与体积视频的对比
要实现如此雄心勃勃的创意，第一步就是构建实时制作的管线。“我们可以用传统的投影方式将防弹少年团放到舞台上，比如Digital Domain就是用这种方式，通过一块斜放的玻璃投影出著名的Tupac全息影像，”All of it Now的执行制作人Nicole Plaza说，“但我们知道，传统的方法不能用在这个项目上。安装时间、成本和有限的观看角度都降低了它的吸引力，而且在灵活性上明显不如我们用虚幻引擎做出的成果。”通过将Dimension Studios的体积捕捉数据导入虚幻引擎，该团队可以方便快捷地根据实体舞台的限制对AR表演者的位置和出现时机进行调整。这样的速度和灵活性对于制作过程至关重要，而如果没有Hologauze屏幕和Pepper的ghost方法，这种近乎即时的更改基本上是不可能实现的。
图像由All of it Now提供
使用实时工作流程也意味着该团队可以在虚幻引擎中对整个表演进行摄像机布局。这不仅使两大乐队可以预览每个镜头的拍摄节奏，也帮助了制作团队确定每个机位的拍摄范围是否足够，从而使他们能够确定拍摄时需要哪些摄像机和镜头。
“我们本来计划使用四个摄像机，但是在看到我们能够实时提供的质量级别后，《美国好声音》和酷玩乐队很快就商定需要七个摄像机，这可以进一步提高整个制作的价值，”All of it Now的虚拟制片主管Berto Mora说。
“我们本来计划使用四个摄像机，但是在看到我们能够实时提供的质量级别后，《美国好声音》和酷玩乐队很快就商定需要七个摄像机，这可以进一步提高整个制作的价值，”All of it Now的虚拟制片主管Berto Mora说。
将创意呈现在舞台上
制作开始后，他们使用虚幻引擎将七个摄像机的信号与原先在《My Universe》视频拍摄时捕捉的防弹少年团体积影像放在一起合成并回放。“我们知道可以出色地覆盖七位表演者的全方位影像，这就给成片中的镜头带来了无限可能，”Mora说，“我们给每个摄像机专门了安排一台服务器，这样导演就能同时看到所有信号源并随时切换镜头，就好像防弹少年团的AR成员真的和舞台上的真人酷玩乐队一起表演一样。”
图像由All of it Now提供
为了实时地让防弹少年团的表演者进入和离开舞台，该团队还利用菲涅尔效应和虚幻引擎中的Sequencer创造了一种“电波干扰”效果，让表演者的全息影像瞬时呈现在观众面前。看过那部音乐视频的乐迷可能会记起这种效果，因为在原片中它也被用于表现我们想象中星际“传输”时全息数据带有瑕疵的特点。
图像由All of it Now提供
接着团队又使用Stype的Stypeland插件摄取所有摄像机跟踪和镜头畸变数据。这是通过Live Link记录的，因此团队可以重新渲染每名表演者的独唱时刻的选定片断，并在后期对特定表演者的唇形同步进行帧级别的调节。另一方面，在舞台上，All of it Now的团队与一流的设计师Sooner Routhier合作，使用特定的落地灯来帮助酷玩乐队的艺人辨别哪些AR表演者出现在舞台上，是何时出现的。
但是，直面这些挑战所带来的回报是绝对值得的。通过使用体积捕捉数据，团队甚至能在后期重新合成某些镜头（由于整条管线始终是为实时表演和回放而设计的，也方便了这类操作）。“每个视频文件都是从一台Atomos Shogun回放的，音频和视频馈送到用于现场制作的服务器，基本上就是重建了我们在现场看到的场景，”Mora透露。
“我们使用这种方法，可以修正同步方面的小问题，或者修改电波干扰关键帧，增减每个镜头的电波干扰效果。我们还使用我们自定义的管线工具读取时间码范围，找到含有记录的跟踪数据的镜头，然后创建新的序列，在后期只需要修正每个镜头所需的跟踪数据就行。与人工识别具有正确帧范围的镜头相比，这种做法节省了时间，对于后期制作所要求的快速周转非常关键，”All of it Now的首席虚幻引擎美术师Jeffrey Hepburn说。
当《美国好声音》节目播出时，All of it Now团队对结果非常满意，因此他们如今正在探索在其它体积视频应用中使用Arcturus Holosuite的平行管线，该工具可以改变表演者的头部位置，使其“跟随”被跟踪的特定摄像机。但是无论他们做什么探索，虚幻引擎似乎都会是他们的好伙伴。
实时技术的优点
和所有颠覆性的工作流程一样，使用体积视频也涉及一些挑战。All of it Now的团队甚至一度与微软合作改写了插件代码，使得防弹少年团的表演者资产（它们是通过微软的SVF插件，作为特殊MP4导出内容而提供的）与酷玩乐队保持完美同步。但是，直面这些挑战所带来的回报是绝对值得的。通过使用体积捕捉数据，团队甚至能在后期重新合成某些镜头（由于整条管线始终是为实时表演和回放而设计的，也方便了这类操作）。“每个视频文件都是从一台Atomos Shogun回放的，音频和视频馈送到用于现场制作的服务器，基本上就是重建了我们在现场看到的场景，”Mora透露。
“我们使用这种方法，可以修正同步方面的小问题，或者修改电波干扰关键帧，增减每个镜头的电波干扰效果。我们还使用我们自定义的管线工具读取时间码范围，找到含有记录的跟踪数据的镜头，然后创建新的序列，在后期只需要修正每个镜头所需的跟踪数据就行。与人工识别具有正确帧范围的镜头相比，这种做法节省了时间，对于后期制作所要求的快速周转非常关键，”All of it Now的首席虚幻引擎美术师Jeffrey Hepburn说。
当《美国好声音》节目播出时，All of it Now团队对结果非常满意，因此他们如今正在探索在其它体积视频应用中使用Arcturus Holosuite的平行管线，该工具可以改变表演者的头部位置，使其“跟随”被跟踪的特定摄像机。但是无论他们做什么探索，虚幻引擎似乎都会是他们的好伙伴。
图像由All of it Now提供
“在这个项目的每个阶段，虚幻引擎都帮我们渡过了难关，使这个项目最终成为体积录制的里程碑，激动人心地预示了混合现实以及元宇宙应用，”Firpo解释说。
他提到了使用体积视频实时回放的多种优势，例如不需要钻研3D角色设计、骨架绑定和动画管线就能捕捉高度精细的面部表情、服装元素和手指姿势。
Firpo还表示，这种技术提供了探索替代工作流程的绝好机会，同时又能让各个团队避免“恐怖谷”问题的困扰。
“实时回放体积视频提供了一些重大的机会，”他说，“如果能够进行一次录制并将资产复用于多种应用，那么这肯定会让那些总在思考下一个大作的美术师感到兴奋。体积视频将会引导他们朝一些有趣的方向探索。”
他提到了使用体积视频实时回放的多种优势，例如不需要钻研3D角色设计、骨架绑定和动画管线就能捕捉高度精细的面部表情、服装元素和手指姿势。
Firpo还表示，这种技术提供了探索替代工作流程的绝好机会，同时又能让各个团队避免“恐怖谷”问题的困扰。
“实时回放体积视频提供了一些重大的机会，”他说，“如果能够进行一次录制并将资产复用于多种应用，那么这肯定会让那些总在思考下一个大作的美术师感到兴奋。体积视频将会引导他们朝一些有趣的方向探索。”
图像由All of it Now提供
合影（从左至右）：Danny Firpo、Nicole Plaza、Preston Altree、Berto Mora、Jeffrey Hepburn、Neil Carman
立即获取虚幻引擎！
获取全球最开放、最先进的创作工具。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。