图片由Epic Records提供

索尼音乐的“数字Madison Beer”点燃虚拟音乐会现场

Craig Laliberte |
2021年8月6日
对于流行歌星来说,保持公众热度就意味着必须不断刷新存在感——无论是在播放列表、舞台,还是其他地方。但在疫情限制已成为常态的一年里,许多艺术家不得不另辟蹊径来与全世界的粉丝建立联系,有时甚至到了令人瞠目结舌的程度。

过去12个月,在众星云集的直播和新颖的虚拟表演中,Epic Records的艺术家Madison Beer发布了可能是迄今为止,最逼真的音乐家“肖像画”。Madison Beer沉浸式虚拟实境音乐会特效丰富,是一场具有突破性意义的虚拟表演。它在TikTok LIVE上首次公演,现在正广泛进军YouTube和各个VR平台。这展示了当艺术家使用实时渲染和虚拟制片技术驰骋想象时,他们的想法能够走多远。

 

这场无法在现实中重现的划时代音乐会中,Madison的超写实数字替身是核心。索尼音乐娱乐、Verizon与Madison合作,完整重现了纽约的索尼音乐厅并上演了她全部热门歌曲的串烧,制作水准堪比大牌艺术家。只是,除了音乐和由表演驱动的体验外,这完全是虚拟的。
图片由Epic Records提供
对于那些通过寻求创新的方式来与观众建立联系,并且具有创造精神和冒险精神的艺术家来说,这可能是一件好事。虽然大多数音乐会将受到现实条件的限制,但虚拟音乐会可以按照艺术家设想的任何形式呈现,让他们有能力塑造粉丝体验,实现高于现实生活层次的幻想概念。Madison Beer沉浸式虚拟实境音乐会采用了这一想法,并以此为基础,将一段内容转化为跨媒体活动的类型,无论粉丝来自YouTube还是VR平台,都将兴奋不已。

确保真实

尽管3D技术给了他们很大的空间,但由Sony Immersive Music StudiosMagnopusGauge Theory CreativeHyperreal领导的制作团队仍然意识到,保持一定程度的真实性是有价值的。

“当从空白画布开始时,我们的创意目标是通过逼真重现真实场地和真实艺术家,构建一场虚拟音乐会,但也要在其中加入足够的魔力来重构音乐会本身的体验。”Sony Immersive Music Studios负责人Brad Spahr说。

Magnopus公司联合创始人Alex Henning说:“你应该以现实环境中完全合理的东西作为起点,因为那会让你的粉丝们融入其中并接受这种体验。一旦用这种真实的内核吸引了他们,就可以开始在此基础上进行幻想。你越是能努力做到前者,就越能通过后者收到更多赞叹。”

对于Magnopus来说,这就代表场地和视觉特效包。对于Hyperreal来说,这代表Madison本人。
图片由Hyperreal和Epic Records提供
Hyperreal从捕捉Madison的脸部和身体开始,动用了位于洛杉矶的两组独立的高分辨率摄像机系统。第一个系统在以亚空隙精度录制测光数据的同时生成面部、颈部和肩部的体积。通过从各个角度捕捉她的举手投足,Hyperreal获得了足够的数据来构建一个超写实的替身,或称之为可避开恐怖谷效应的“超级模型”。

在200台摄像机的帮助下,Madison的身体、肌肉和形态被录制成一系列生物力学姿势,以确保其在Hyperreal的实时HyperRig系统中正确变形。在添加了Madison喜欢的表演装备(衣服、发型、耳环)之后,Hyperreal将这个替身导入虚幻引擎,在位于洛杉矶的PlayStation工作室进行现场拍摄之前完成运动实验。
图片由Hyperreal和Epic Records提供
与此同时,Magnopus也在精心布置场地和视效系统。和超级模型一样,我们的目标是尽可能地保持真实,为活动打好基础,如此一来,当Madison上空出现星空等特效时,就会显得神奇和意外。
图片由Epic Records提供
考虑进行完整的激光雷达扫描后,Sony Immersive Music Studios决定从头开始建造场地,以便更好地控制灯光。他们从原始CAD文件开始,将其导入Autodesk Maya,进行了全面的艺术处理,包括加入各种细微差别,使索尼音乐厅看起来独一无二。然后,Magnopus能够在此基础上,通过灯光和视效来实现总体目标,重新构想音乐会的体验。

“索尼音乐厅是一个亲切的场所,充满个性、细节和美感,这使它成为这次体验的理想环境。”Spahr说。

“从规模上看,它也非常适合VR。它不是一个巨大、空洞的场馆,也不是一个简陋的俱乐部。”Henning说,“它的尺寸几乎完美”。
图片由Epic Records提供
由于整个创作过程中都将使用虚幻引擎,Magnopus利用其内置的虚拟探查工具来设置他们的摄像机,以便在深入制作特效之前测试灯光。但首先,他们需要表演。

音乐虚拟制片的优势

在大多数动作捕捉拍摄中,所有人都可以在一起,而Madison Beer沉浸式音乐会由美国各地团队远程推进。在洛杉矶,Madison Beer穿着动作捕捉套装和头戴式摄像机。而在费城,Hyperreal的首席执行官Remington Scott正通过VR头盔实时指导她,这不仅使他能够在虚拟的索尼音乐厅内面对面地观看Madison的替身,还能遵守新冠期间的限制,相互隔离。

因为虚幻引擎是以实时方式运行的,所以虚拟制片可以使用其中的远程协作工具,在世界任何地方流送3D环境,跨地域完全同步。这让摄制组可以将Madison的表演录制到一个连贯的镜头中,无需暂停和编辑。对于这支想要让表演尽可能真实的团队来说,这一点至关重要。

当动作捕捉拍摄完毕,并对体验进行打磨后,摄影师Tom Glynn就能够为最后9.5分钟的表演建立镜头选集。

Gauge Theory Creative的执行导演Tom Glynn说:“有些时候,你无法相信这是用游戏引擎完成的。那是一个正在进行表演的3D世界,而其中的表演与我的摄像机移动在时间上是完全同步的。很难相信我在拍摄时通过取景器看到的东西。我看到了Madison Beer的替身,感觉就像是和我一起站在房间中的真实人物。这让我吃惊。”
图片由Epic Records提供
在两天时间里,他们录制了数百个镜头,确保可以找到他们想要的任何镜头。

“我们按下播放按钮,Madison表演,而Tom能够实时获得镜头。他可以在正前方的显示器上即时观看镜头。然后我们可以停下来,重新调整,点击播放,音乐会又继续进行,然后他获得下一个镜头。”Spahr说,“这种实时反馈非常重要。如果说其中有什么挑战,那就是:‘我有这么多好镜头,我不知道该用哪一个!’这像是一种富人窘境。”

让Glynn感到惊讶的是,虚拟制片体验对摄影师来说是如此轻松,特别是“音乐会”的拍摄。按传统,一场现场表演需要五到十二个摄影师,他们会在场地中已规划好的位置上架设各种三脚架、滑轮和摄像机稳定架等。团队要在做好准备后拍摄一次,看看效果。而这次,Glynn能够使用完全相同的设备,再加上一个手持式机架,在支持快速镜头的虚拟世界中进行拍摄。
图片由Hyperreal和Epic Records提供
使用虚幻引擎,Glynn还能够通过一些快速命令来超越现实世界中的一些物理限制。例如,有时他想要的镜头在Madison的视线偏上或偏下的位置。因此,团队只需将他的体型在环境中增加1.2或1.5倍,他就会突然“高大”到足以拍到它。其他时候,他想跟上她的快速动作,但不希望镜头抖动。于是,他们将平移比例增加了1.5到2倍,使一步等于七步。问题解决了。

瞬间创造者 

拍摄杀青后,就需要Magnopus添加特效美化镜头,这不仅能吸引眼球,也实现了现实中不可能的效果。

“有一个Madison周围环绕火圈的序列。也有雨滴落在她周围的动人体验。出于安全考虑,普通音乐会现场是不允许这样做的。”Spahr说,“我们让粉丝能够以新方式观看音乐会,并且使用宇宙星空创造惊人的效果。
图片由Epic Records提供
Magnopus在虚幻引擎中创建了所有特殊效果和灯光效果,在此过程中,他们使用了实时光线追踪技术,以及Sequencer(虚幻引擎内置的多轨编辑器)中的时间轴工具,在编辑歌曲的不同部分时进行跳转。在像素流送的帮助下,Magnopus克服了束缚艺术家的硬件限制。像素流送允许你在云端服务器上运行虚幻引擎应用,并将其流送到任何设备的任何浏览器上,就类似于YouTube视频。

“在实时环境中,始终会有一个渲染预算,你不能超出它。它受目标设备性能的约束,你能够以特定的质量级别渲染特定数量的内容,让屏幕以你需要的刷新率刷新。”Henning说,“如果能够超越它,甚至远远超越,就不用面临二选一的抉择,而是‘我都要’,比如我想要逼真的人类渲染,我也想要火,也想要雨,也想要烟,还想要氛围——这正是艺术家所渴望的。”
图片由Epic Records提供

一体化

当“Madison Beer沉浸式音乐会”在TikTok LIVE上首演时,产生了更深层的意义。由于它是在游戏引擎中创建的,项目可以很容易地转换为不同渠道,制作团队不再需要为视频、VR和移动应用重新创建体验。

“假设你从一开始就以实时方式工作,并且这是各项产出的核心,那么每项产出都是同一块蛋糕中的一片,你就不需要每次都重新做蛋糕。这种方式将打开一扇大门,以更有趣的方式将事物统一起来,付出总计更少的工作量,完成更多工作。”Henning说,“如果要制作VR作品和它的移动AR/互动版本、像素流送版本,还要为YouTube和TikTok提取2D视频,可复用的设置越多,就越能将精力和创意放到场景本身。”
图片由Epic Records提供
但是,即使这种不可思议的体验已在全世界逐渐传播开来,还存在一个问题:未来的几年,虚拟音乐会能走多远?Spahr的说法是,很远。他察觉到了新节目中存在的大量机会,以及使用数字替身重新构想音乐的新方法。

“艺术家所想象的任何事物都可以变成现实,无论多么奇异。操作将不受约束。”他说,“我们没有物理定律。我们没有必须遵守的消防法规和安全条款。如果能够和一位艺术家坐下来,说:‘请为你的粉丝构想梦幻体验。如果你能做任何事,你想做什么?’,并且你知道存在使之变为现实的工具和技术,这对艺术家和音乐产业来说是最令人兴奋的事。”
图片由Epic Records提供

    立即获取虚幻引擎!

    获取全球最开放、最先进的创作工具。 
    虚幻引擎包罗万象,并提供完整的源代码访问权限,开箱即用,诚意十足。
    新闻
    8月19日

    虚幻引擎4.27现已发布!

    各行各业的创作者都将为此发行版中的某些功能而欢呼:通过一系列效率、质量和易用性方面的改进,摄像机内视效上升到了新高度,同时,其他亮点包括通过路径追踪实现精美的最终图像,开箱即用的Oodle和Bink,可用于生产的像素流送等诸多功能。
    新闻

    虚幻引擎4.27现已发布!

    各行各业的创作者都将为此发行版中的某些功能而欢呼:通过一系列效率、质量和易用性方面的改进,摄像机内视效上升到了新高度,同时,其他亮点包括通过路径追踪实现精美的最终图像,开箱即用的Oodle和Bink,可用于生产的像素流送等诸多功能。
    聚焦
    9月7日

    Mold3D Studio与虚幻社区分享动画示例项目Slay

    为了启发和指导美术师,Mold3D Studio创建了一个动画内容示例项目,分享其数十年的行业经验。Slay完全在虚幻引擎中渲染,它将动画与现实主义相结合,营造出了一种独特的风格。
    聚焦

    Mold3D Studio与虚幻社区分享动画示例项目Slay

    为了启发和指导美术师,Mold3D Studio创建了一个动画内容示例项目,分享其数十年的行业经验。Slay完全在虚幻引擎中渲染,它将动画与现实主义相结合,营造出了一种独特的风格。
    聚焦
    7月21日

    虚幻引擎全新摄像机内VFX工具集试运行

    即将发行的虚幻引擎4.27将包含丰富的虚拟制片工具。最近,Epic Games和电影人团体Bullitt召集起一支队伍试用了其中的摄像机内视觉特效工具集。为了测试到每一种新工具,他们拍摄了一部测试短片来模拟制片流程。
    聚焦

    虚幻引擎全新摄像机内VFX工具集试运行

    即将发行的虚幻引擎4.27将包含丰富的虚拟制片工具。最近,Epic Games和电影人团体Bullitt召集起一支队伍试用了其中的摄像机内视觉特效工具集。为了测试到每一种新工具,他们拍摄了一部测试短片来模拟制片流程。