图片由Epic Records提供
索尼音乐的“数字Madison Beer”点燃虚拟音乐会现场
Craig Laliberte
2021年8月6日对于流行歌星来说，保持公众热度就意味着必须不断刷新存在感——无论是在播放列表、舞台，还是其他地方。但在疫情限制已成为常态的一年里，许多艺术家不得不另辟蹊径来与全世界的粉丝建立联系，有时甚至到了令人瞠目结舌的程度。
过去12个月，在众星云集的直播和新颖的虚拟表演中，Epic Records的艺术家Madison Beer发布了可能是迄今为止，最逼真的音乐家“肖像画”。Madison Beer沉浸式虚拟实境音乐会特效丰富，是一场具有突破性意义的虚拟表演。它在TikTok LIVE上首次公演，现在正广泛进军YouTube和各个VR平台。这展示了当艺术家使用实时渲染和虚拟制片技术驰骋想象时，他们的想法能够走多远。
过去12个月，在众星云集的直播和新颖的虚拟表演中，Epic Records的艺术家Madison Beer发布了可能是迄今为止，最逼真的音乐家“肖像画”。Madison Beer沉浸式虚拟实境音乐会特效丰富，是一场具有突破性意义的虚拟表演。它在TikTok LIVE上首次公演，现在正广泛进军YouTube和各个VR平台。这展示了当艺术家使用实时渲染和虚拟制片技术驰骋想象时，他们的想法能够走多远。
这场无法在现实中重现的划时代音乐会中，Madison的超写实数字替身是核心。索尼音乐娱乐、Verizon与Madison合作，完整重现了纽约的索尼音乐厅并上演了她全部热门歌曲的串烧，制作水准堪比大牌艺术家。只是，除了音乐和由表演驱动的体验外，这完全是虚拟的。
图片由Epic Records提供
对于那些通过寻求创新的方式来与观众建立联系，并且具有创造精神和冒险精神的艺术家来说，这可能是一件好事。虽然大多数音乐会将受到现实条件的限制，但虚拟音乐会可以按照艺术家设想的任何形式呈现，让他们有能力塑造粉丝体验，实现高于现实生活层次的幻想概念。Madison Beer沉浸式虚拟实境音乐会采用了这一想法，并以此为基础，将一段内容转化为跨媒体活动的类型，无论粉丝来自YouTube还是VR平台，都将兴奋不已。
“当从空白画布开始时，我们的创意目标是通过逼真重现真实场地和真实艺术家，构建一场虚拟音乐会，但也要在其中加入足够的魔力来重构音乐会本身的体验。”Sony Immersive Music Studios负责人Brad Spahr说。
Magnopus公司联合创始人Alex Henning说：“你应该以现实环境中完全合理的东西作为起点，因为那会让你的粉丝们融入其中并接受这种体验。一旦用这种真实的内核吸引了他们，就可以开始在此基础上进行幻想。你越是能努力做到前者，就越能通过后者收到更多赞叹。”
对于Magnopus来说，这就代表场地和视觉特效包。对于Hyperreal来说，这代表Madison本人。
确保真实
尽管3D技术给了他们很大的空间，但由Sony Immersive Music Studios、Magnopus、Gauge Theory Creative和Hyperreal领导的制作团队仍然意识到，保持一定程度的真实性是有价值的。“当从空白画布开始时，我们的创意目标是通过逼真重现真实场地和真实艺术家，构建一场虚拟音乐会，但也要在其中加入足够的魔力来重构音乐会本身的体验。”Sony Immersive Music Studios负责人Brad Spahr说。
Magnopus公司联合创始人Alex Henning说：“你应该以现实环境中完全合理的东西作为起点，因为那会让你的粉丝们融入其中并接受这种体验。一旦用这种真实的内核吸引了他们，就可以开始在此基础上进行幻想。你越是能努力做到前者，就越能通过后者收到更多赞叹。”
对于Magnopus来说，这就代表场地和视觉特效包。对于Hyperreal来说，这代表Madison本人。
图片由Hyperreal和Epic Records提供
Hyperreal从捕捉Madison的脸部和身体开始，动用了位于洛杉矶的两组独立的高分辨率摄像机系统。第一个系统在以亚空隙精度录制测光数据的同时生成面部、颈部和肩部的体积。通过从各个角度捕捉她的举手投足，Hyperreal获得了足够的数据来构建一个超写实的替身，或称之为可避开恐怖谷效应的“超级模型”。
在200台摄像机的帮助下，Madison的身体、肌肉和形态被录制成一系列生物力学姿势，以确保其在Hyperreal的实时HyperRig系统中正确变形。在添加了Madison喜欢的表演装备（衣服、发型、耳环）之后，Hyperreal将这个替身导入虚幻引擎，在位于洛杉矶的PlayStation工作室进行现场拍摄之前完成运动实验。
在200台摄像机的帮助下，Madison的身体、肌肉和形态被录制成一系列生物力学姿势，以确保其在Hyperreal的实时HyperRig系统中正确变形。在添加了Madison喜欢的表演装备（衣服、发型、耳环）之后，Hyperreal将这个替身导入虚幻引擎，在位于洛杉矶的PlayStation工作室进行现场拍摄之前完成运动实验。
图片由Hyperreal和Epic Records提供
与此同时，Magnopus也在精心布置场地和视效系统。和超级模型一样，我们的目标是尽可能地保持真实，为活动打好基础，如此一来，当Madison上空出现星空等特效时，就会显得神奇和意外。
图片由Epic Records提供
考虑进行完整的激光雷达扫描后，Sony Immersive Music Studios决定从头开始建造场地，以便更好地控制灯光。他们从原始CAD文件开始，将其导入Autodesk Maya，进行了全面的艺术处理，包括加入各种细微差别，使索尼音乐厅看起来独一无二。然后，Magnopus能够在此基础上，通过灯光和视效来实现总体目标，重新构想音乐会的体验。
“索尼音乐厅是一个亲切的场所，充满个性、细节和美感，这使它成为这次体验的理想环境。”Spahr说。
“从规模上看，它也非常适合VR。它不是一个巨大、空洞的场馆，也不是一个简陋的俱乐部。”Henning说，“它的尺寸几乎完美”。
“索尼音乐厅是一个亲切的场所，充满个性、细节和美感，这使它成为这次体验的理想环境。”Spahr说。
“从规模上看，它也非常适合VR。它不是一个巨大、空洞的场馆，也不是一个简陋的俱乐部。”Henning说，“它的尺寸几乎完美”。
图片由Epic Records提供
由于整个创作过程中都将使用虚幻引擎，Magnopus利用其内置的虚拟探查工具来设置他们的摄像机，以便在深入制作特效之前测试灯光。但首先，他们需要表演。
因为虚幻引擎是以实时方式运行的，所以虚拟制片可以使用其中的远程协作工具，在世界任何地方流送3D环境，跨地域完全同步。这让摄制组可以将Madison的表演录制到一个连贯的镜头中，无需暂停和编辑。对于这支想要让表演尽可能真实的团队来说，这一点至关重要。
当动作捕捉拍摄完毕，并对体验进行打磨后，摄影师Tom Glynn就能够为最后9.5分钟的表演建立镜头选集。
Gauge Theory Creative的执行导演Tom Glynn说：“有些时候，你无法相信这是用游戏引擎完成的。那是一个正在进行表演的3D世界，而其中的表演与我的摄像机移动在时间上是完全同步的。很难相信我在拍摄时通过取景器看到的东西。我看到了Madison Beer的替身，感觉就像是和我一起站在房间中的真实人物。这让我吃惊。”
音乐虚拟制片的优势
在大多数动作捕捉拍摄中，所有人都可以在一起，而Madison Beer沉浸式音乐会由美国各地团队远程推进。在洛杉矶，Madison Beer穿着动作捕捉套装和头戴式摄像机。而在费城，Hyperreal的首席执行官Remington Scott正通过VR头盔实时指导她，这不仅使他能够在虚拟的索尼音乐厅内面对面地观看Madison的替身，还能遵守新冠期间的限制，相互隔离。因为虚幻引擎是以实时方式运行的，所以虚拟制片可以使用其中的远程协作工具，在世界任何地方流送3D环境，跨地域完全同步。这让摄制组可以将Madison的表演录制到一个连贯的镜头中，无需暂停和编辑。对于这支想要让表演尽可能真实的团队来说，这一点至关重要。
当动作捕捉拍摄完毕，并对体验进行打磨后，摄影师Tom Glynn就能够为最后9.5分钟的表演建立镜头选集。
Gauge Theory Creative的执行导演Tom Glynn说：“有些时候，你无法相信这是用游戏引擎完成的。那是一个正在进行表演的3D世界，而其中的表演与我的摄像机移动在时间上是完全同步的。很难相信我在拍摄时通过取景器看到的东西。我看到了Madison Beer的替身，感觉就像是和我一起站在房间中的真实人物。这让我吃惊。”
图片由Epic Records提供
在两天时间里，他们录制了数百个镜头，确保可以找到他们想要的任何镜头。
“我们按下播放按钮，Madison表演，而Tom能够实时获得镜头。他可以在正前方的显示器上即时观看镜头。然后我们可以停下来，重新调整，点击播放，音乐会又继续进行，然后他获得下一个镜头。”Spahr说，“这种实时反馈非常重要。如果说其中有什么挑战，那就是：‘我有这么多好镜头，我不知道该用哪一个！’这像是一种富人窘境。”
让Glynn感到惊讶的是，虚拟制片体验对摄影师来说是如此轻松，特别是“音乐会”的拍摄。按传统，一场现场表演需要五到十二个摄影师，他们会在场地中已规划好的位置上架设各种三脚架、滑轮和摄像机稳定架等。团队要在做好准备后拍摄一次，看看效果。而这次，Glynn能够使用完全相同的设备，再加上一个手持式机架，在支持快速镜头的虚拟世界中进行拍摄。
“我们按下播放按钮，Madison表演，而Tom能够实时获得镜头。他可以在正前方的显示器上即时观看镜头。然后我们可以停下来，重新调整，点击播放，音乐会又继续进行，然后他获得下一个镜头。”Spahr说，“这种实时反馈非常重要。如果说其中有什么挑战，那就是：‘我有这么多好镜头，我不知道该用哪一个！’这像是一种富人窘境。”
让Glynn感到惊讶的是，虚拟制片体验对摄影师来说是如此轻松，特别是“音乐会”的拍摄。按传统，一场现场表演需要五到十二个摄影师，他们会在场地中已规划好的位置上架设各种三脚架、滑轮和摄像机稳定架等。团队要在做好准备后拍摄一次，看看效果。而这次，Glynn能够使用完全相同的设备，再加上一个手持式机架，在支持快速镜头的虚拟世界中进行拍摄。
图片由Hyperreal和Epic Records提供
使用虚幻引擎，Glynn还能够通过一些快速命令来超越现实世界中的一些物理限制。例如，有时他想要的镜头在Madison的视线偏上或偏下的位置。因此，团队只需将他的体型在环境中增加1.2或1.5倍，他就会突然“高大”到足以拍到它。其他时候，他想跟上她的快速动作，但不希望镜头抖动。于是，他们将平移比例增加了1.5到2倍，使一步等于七步。问题解决了。
“有一个Madison周围环绕火圈的序列。也有雨滴落在她周围的动人体验。出于安全考虑，普通音乐会现场是不允许这样做的。”Spahr说，“我们让粉丝能够以新方式观看音乐会，并且使用宇宙星空创造惊人的效果。
瞬间创造者
拍摄杀青后，就需要Magnopus添加特效美化镜头，这不仅能吸引眼球，也实现了现实中不可能的效果。“有一个Madison周围环绕火圈的序列。也有雨滴落在她周围的动人体验。出于安全考虑，普通音乐会现场是不允许这样做的。”Spahr说，“我们让粉丝能够以新方式观看音乐会，并且使用宇宙星空创造惊人的效果。
图片由Epic Records提供
Magnopus在虚幻引擎中创建了所有特殊效果和灯光效果，在此过程中，他们使用了实时光线追踪技术，以及Sequencer（虚幻引擎内置的多轨编辑器）中的时间轴工具，在编辑歌曲的不同部分时进行跳转。在像素流送的帮助下，Magnopus克服了束缚艺术家的硬件限制。像素流送允许你在云端服务器上运行虚幻引擎应用，并将其流送到任何设备的任何浏览器上，就类似于YouTube视频。
“在实时环境中，始终会有一个渲染预算，你不能超出它。它受目标设备性能的约束，你能够以特定的质量级别渲染特定数量的内容，让屏幕以你需要的刷新率刷新。”Henning说，“如果能够超越它，甚至远远超越，就不用面临二选一的抉择，而是‘我都要’，比如我想要逼真的人类渲染，我也想要火，也想要雨，也想要烟，还想要氛围——这正是艺术家所渴望的。”
“在实时环境中，始终会有一个渲染预算，你不能超出它。它受目标设备性能的约束，你能够以特定的质量级别渲染特定数量的内容，让屏幕以你需要的刷新率刷新。”Henning说，“如果能够超越它，甚至远远超越，就不用面临二选一的抉择，而是‘我都要’，比如我想要逼真的人类渲染，我也想要火，也想要雨，也想要烟，还想要氛围——这正是艺术家所渴望的。”
图片由Epic Records提供
一体化
当“Madison Beer沉浸式音乐会”在TikTok LIVE上首演时，产生了更深层的意义。由于它是在游戏引擎中创建的，项目可以很容易地转换为不同渠道，制作团队不再需要为视频、VR和移动应用重新创建体验。“假设你从一开始就以实时方式工作，并且这是各项产出的核心，那么每项产出都是同一块蛋糕中的一片，你就不需要每次都重新做蛋糕。这种方式将打开一扇大门，以更有趣的方式将事物统一起来，付出总计更少的工作量，完成更多工作。”Henning说，“如果要制作VR作品和它的移动AR/互动版本、像素流送版本，还要为YouTube和TikTok提取2D视频，可复用的设置越多，就越能将精力和创意放到场景本身。”
图片由Epic Records提供
但是，即使这种不可思议的体验已在全世界逐渐传播开来，还存在一个问题：未来的几年，虚拟音乐会能走多远？Spahr的说法是，很远。他察觉到了新节目中存在的大量机会，以及使用数字替身重新构想音乐的新方法。
“艺术家所想象的任何事物都可以变成现实，无论多么奇异。操作将不受约束。”他说，“我们没有物理定律。我们没有必须遵守的消防法规和安全条款。如果能够和一位艺术家坐下来，说：‘请为你的粉丝构想梦幻体验。如果你能做任何事，你想做什么？’，并且你知道存在使之变为现实的工具和技术，这对艺术家和音乐产业来说是最令人兴奋的事。”
“艺术家所想象的任何事物都可以变成现实，无论多么奇异。操作将不受约束。”他说，“我们没有物理定律。我们没有必须遵守的消防法规和安全条款。如果能够和一位艺术家坐下来，说：‘请为你的粉丝构想梦幻体验。如果你能做任何事，你想做什么？’，并且你知道存在使之变为现实的工具和技术，这对艺术家和音乐产业来说是最令人兴奋的事。”
图片由Epic Records提供
立即获取虚幻引擎！
获取全球最开放、最先进的创作工具。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。