图片由Epic Records提供

索尼音乐的“数字Madison Beer”点燃虚拟音乐会现场

Craig Laliberte |
2021年8月6日
对于流行歌星来说,保持公众热度就意味着必须不断刷新存在感——无论是在播放列表、舞台,还是其他地方。但在疫情限制已成为常态的一年里,许多艺术家不得不另辟蹊径来与全世界的粉丝建立联系,有时甚至到了令人瞠目结舌的程度。

过去12个月,在众星云集的直播和新颖的虚拟表演中,Epic Records的艺术家Madison Beer发布了可能是迄今为止,最逼真的音乐家“肖像画”。Madison Beer沉浸式虚拟实境音乐会特效丰富,是一场具有突破性意义的虚拟表演。它在TikTok LIVE上首次公演,现在正广泛进军YouTube和各个VR平台。这展示了当艺术家使用实时渲染和虚拟制片技术驰骋想象时,他们的想法能够走多远。

 

这场无法在现实中重现的划时代音乐会中,Madison的超写实数字替身是核心。索尼音乐娱乐、Verizon与Madison合作,完整重现了纽约的索尼音乐厅并上演了她全部热门歌曲的串烧,制作水准堪比大牌艺术家。只是,除了音乐和由表演驱动的体验外,这完全是虚拟的。
图片由Epic Records提供
对于那些通过寻求创新的方式来与观众建立联系,并且具有创造精神和冒险精神的艺术家来说,这可能是一件好事。虽然大多数音乐会将受到现实条件的限制,但虚拟音乐会可以按照艺术家设想的任何形式呈现,让他们有能力塑造粉丝体验,实现高于现实生活层次的幻想概念。Madison Beer沉浸式虚拟实境音乐会采用了这一想法,并以此为基础,将一段内容转化为跨媒体活动的类型,无论粉丝来自YouTube还是VR平台,都将兴奋不已。

确保真实

尽管3D技术给了他们很大的空间,但由Sony Immersive Music StudiosMagnopusGauge Theory CreativeHyperreal领导的制作团队仍然意识到,保持一定程度的真实性是有价值的。

“当从空白画布开始时,我们的创意目标是通过逼真重现真实场地和真实艺术家,构建一场虚拟音乐会,但也要在其中加入足够的魔力来重构音乐会本身的体验。”Sony Immersive Music Studios负责人Brad Spahr说。

Magnopus公司联合创始人Alex Henning说:“你应该以现实环境中完全合理的东西作为起点,因为那会让你的粉丝们融入其中并接受这种体验。一旦用这种真实的内核吸引了他们,就可以开始在此基础上进行幻想。你越是能努力做到前者,就越能通过后者收到更多赞叹。”

对于Magnopus来说,这就代表场地和视觉特效包。对于Hyperreal来说,这代表Madison本人。
图片由Hyperreal和Epic Records提供
Hyperreal从捕捉Madison的脸部和身体开始,动用了位于洛杉矶的两组独立的高分辨率摄像机系统。第一个系统在以亚空隙精度录制测光数据的同时生成面部、颈部和肩部的体积。通过从各个角度捕捉她的举手投足,Hyperreal获得了足够的数据来构建一个超写实的替身,或称之为可避开恐怖谷效应的“超级模型”。

在200台摄像机的帮助下,Madison的身体、肌肉和形态被录制成一系列生物力学姿势,以确保其在Hyperreal的实时HyperRig系统中正确变形。在添加了Madison喜欢的表演装备(衣服、发型、耳环)之后,Hyperreal将这个替身导入虚幻引擎,在位于洛杉矶的PlayStation工作室进行现场拍摄之前完成运动实验。
图片由Hyperreal和Epic Records提供
与此同时,Magnopus也在精心布置场地和视效系统。和超级模型一样,我们的目标是尽可能地保持真实,为活动打好基础,如此一来,当Madison上空出现星空等特效时,就会显得神奇和意外。
图片由Epic Records提供
考虑进行完整的激光雷达扫描后,Sony Immersive Music Studios决定从头开始建造场地,以便更好地控制灯光。他们从原始CAD文件开始,将其导入Autodesk Maya,进行了全面的艺术处理,包括加入各种细微差别,使索尼音乐厅看起来独一无二。然后,Magnopus能够在此基础上,通过灯光和视效来实现总体目标,重新构想音乐会的体验。

“索尼音乐厅是一个亲切的场所,充满个性、细节和美感,这使它成为这次体验的理想环境。”Spahr说。

“从规模上看,它也非常适合VR。它不是一个巨大、空洞的场馆,也不是一个简陋的俱乐部。”Henning说,“它的尺寸几乎完美”。
图片由Epic Records提供
由于整个创作过程中都将使用虚幻引擎,Magnopus利用其内置的虚拟探查工具来设置他们的摄像机,以便在深入制作特效之前测试灯光。但首先,他们需要表演。

音乐虚拟制片的优势

在大多数动作捕捉拍摄中,所有人都可以在一起,而Madison Beer沉浸式音乐会由美国各地团队远程推进。在洛杉矶,Madison Beer穿着动作捕捉套装和头戴式摄像机。而在费城,Hyperreal的首席执行官Remington Scott正通过VR头盔实时指导她,这不仅使他能够在虚拟的索尼音乐厅内面对面地观看Madison的替身,还能遵守新冠期间的限制,相互隔离。

因为虚幻引擎是以实时方式运行的,所以虚拟制片可以使用其中的远程协作工具,在世界任何地方流送3D环境,跨地域完全同步。这让摄制组可以将Madison的表演录制到一个连贯的镜头中,无需暂停和编辑。对于这支想要让表演尽可能真实的团队来说,这一点至关重要。

当动作捕捉拍摄完毕,并对体验进行打磨后,摄影师Tom Glynn就能够为最后9.5分钟的表演建立镜头选集。

Gauge Theory Creative的执行导演Tom Glynn说:“有些时候,你无法相信这是用游戏引擎完成的。那是一个正在进行表演的3D世界,而其中的表演与我的摄像机移动在时间上是完全同步的。很难相信我在拍摄时通过取景器看到的东西。我看到了Madison Beer的替身,感觉就像是和我一起站在房间中的真实人物。这让我吃惊。”
图片由Epic Records提供
在两天时间里,他们录制了数百个镜头,确保可以找到他们想要的任何镜头。

“我们按下播放按钮,Madison表演,而Tom能够实时获得镜头。他可以在正前方的显示器上即时观看镜头。然后我们可以停下来,重新调整,点击播放,音乐会又继续进行,然后他获得下一个镜头。”Spahr说,“这种实时反馈非常重要。如果说其中有什么挑战,那就是:‘我有这么多好镜头,我不知道该用哪一个!’这像是一种富人窘境。”

让Glynn感到惊讶的是,虚拟制片体验对摄影师来说是如此轻松,特别是“音乐会”的拍摄。按传统,一场现场表演需要五到十二个摄影师,他们会在场地中已规划好的位置上架设各种三脚架、滑轮和摄像机稳定架等。团队要在做好准备后拍摄一次,看看效果。而这次,Glynn能够使用完全相同的设备,再加上一个手持式机架,在支持快速镜头的虚拟世界中进行拍摄。
图片由Hyperreal和Epic Records提供
使用虚幻引擎,Glynn还能够通过一些快速命令来超越现实世界中的一些物理限制。例如,有时他想要的镜头在Madison的视线偏上或偏下的位置。因此,团队只需将他的体型在环境中增加1.2或1.5倍,他就会突然“高大”到足以拍到它。其他时候,他想跟上她的快速动作,但不希望镜头抖动。于是,他们将平移比例增加了1.5到2倍,使一步等于七步。问题解决了。

瞬间创造者 

拍摄杀青后,就需要Magnopus添加特效美化镜头,这不仅能吸引眼球,也实现了现实中不可能的效果。

“有一个Madison周围环绕火圈的序列。也有雨滴落在她周围的动人体验。出于安全考虑,普通音乐会现场是不允许这样做的。”Spahr说,“我们让粉丝能够以新方式观看音乐会,并且使用宇宙星空创造惊人的效果。
图片由Epic Records提供
Magnopus在虚幻引擎中创建了所有特殊效果和灯光效果,在此过程中,他们使用了实时光线追踪技术,以及Sequencer(虚幻引擎内置的多轨编辑器)中的时间轴工具,在编辑歌曲的不同部分时进行跳转。在像素流送的帮助下,Magnopus克服了束缚艺术家的硬件限制。像素流送允许你在云端服务器上运行虚幻引擎应用,并将其流送到任何设备的任何浏览器上,就类似于YouTube视频。

“在实时环境中,始终会有一个渲染预算,你不能超出它。它受目标设备性能的约束,你能够以特定的质量级别渲染特定数量的内容,让屏幕以你需要的刷新率刷新。”Henning说,“如果能够超越它,甚至远远超越,就不用面临二选一的抉择,而是‘我都要’,比如我想要逼真的人类渲染,我也想要火,也想要雨,也想要烟,还想要氛围——这正是艺术家所渴望的。”
图片由Epic Records提供

一体化

当“Madison Beer沉浸式音乐会”在TikTok LIVE上首演时,产生了更深层的意义。由于它是在游戏引擎中创建的,项目可以很容易地转换为不同渠道,制作团队不再需要为视频、VR和移动应用重新创建体验。

“假设你从一开始就以实时方式工作,并且这是各项产出的核心,那么每项产出都是同一块蛋糕中的一片,你就不需要每次都重新做蛋糕。这种方式将打开一扇大门,以更有趣的方式将事物统一起来,付出总计更少的工作量,完成更多工作。”Henning说,“如果要制作VR作品和它的移动AR/互动版本、像素流送版本,还要为YouTube和TikTok提取2D视频,可复用的设置越多,就越能将精力和创意放到场景本身。”
图片由Epic Records提供
但是,即使这种不可思议的体验已在全世界逐渐传播开来,还存在一个问题:未来的几年,虚拟音乐会能走多远?Spahr的说法是,很远。他察觉到了新节目中存在的大量机会,以及使用数字替身重新构想音乐的新方法。

“艺术家所想象的任何事物都可以变成现实,无论多么奇异。操作将不受约束。”他说,“我们没有物理定律。我们没有必须遵守的消防法规和安全条款。如果能够和一位艺术家坐下来,说:‘请为你的粉丝构想梦幻体验。如果你能做任何事,你想做什么?’,并且你知道存在使之变为现实的工具和技术,这对艺术家和音乐产业来说是最令人兴奋的事。”
图片由Epic Records提供

    立即获取虚幻引擎!

    获取全球最开放、最先进的创作工具。 
    虚幻引擎包罗万象,并提供完整的源代码访问权限,开箱即用,诚意十足。
    新闻
    6月9日

    新版本为虚幻带来网格体转MetaHuman等大量功能!

    这个版本的MetaHuman框架不仅为MetaHuman Creator提供了新功能,也为虚幻引擎带来了激动人心的全新MetaHuman虚幻引擎插件,以及对虚幻引擎5中新的角色绑定、动画和物理功能的支持。
    新闻

    新版本为虚幻带来网格体转MetaHuman等大量功能!

    这个版本的MetaHuman框架不仅为MetaHuman Creator提供了新功能,也为虚幻引擎带来了激动人心的全新MetaHuman虚幻引擎插件,以及对虚幻引擎5中新的角色绑定、动画和物理功能的支持。
    新闻
    4月5日

    虚幻引擎5现已发布!

    在这个版本中,我们的目标是助力各种规模的团队在视觉领域和互动领域挑战极限,施展无限潜能。虚幻引擎5将带来前所未有的自由度、保真度和灵活性,帮助游戏开发者和各行各业的创作者创造新一代实时3D内容和体验。
    新闻

    虚幻引擎5现已发布!

    在这个版本中,我们的目标是助力各种规模的团队在视觉领域和互动领域挑战极限,施展无限潜能。虚幻引擎5将带来前所未有的自由度、保真度和灵活性,帮助游戏开发者和各行各业的创作者创造新一代实时3D内容和体验。
    新闻
    12月9日

    走进《黑客帝国觉醒:虚幻引擎5体验》

    这一尖端体验向创作者和玩家展示了振奋人心的新时代起点,让我们在其中一睹虚幻引擎5创造的互动叙事和娱乐的未来。 
    新闻

    走进《黑客帝国觉醒:虚幻引擎5体验》

    这一尖端体验向创作者和玩家展示了振奋人心的新时代起点,让我们在其中一睹虚幻引擎5创造的互动叙事和娱乐的未来。