图片由Goldenvoice LLC提供,保留所有权利。©2022。

科切拉和Flume在AR现场演唱会中全力以赴

2022年5月12日
在观看今年科切拉音乐节的YouTube直播时,如果你所见到的一切让你震惊,你绝不会是唯一一个有这种感觉的人。巨型凤头鹦鹉在舞台上方展翅飞翔,金色的花朵在人群上空盘旋,Flume的焦点表演充满了令人惊叹的梦幻视觉效果,让歌迷不禁问道:“这是真实的吗?”

可答案是:不是。

科切拉音乐节的组织方与&PullSix Degrees of FreedomAll of it Now的音乐家们携手,在他们的YouTube直播中融入了具有广播节目质量的增强现实(AR)效果,为想要在表演中添加实时3D视觉效果的音乐家们开创了新时代。但与其他表演不同,只有留在家中的人们才能享受到这些乐趣,将原本“不过是又一场可看的节目”变成了必看的电视直播。

为主舞台制作凤头鹦鹉

对于长期关注科切拉音乐节的人来说,这可能算不上是惊喜。科切拉音乐节总是会为我们准备一些特殊活动。自从1999年以来,该音乐节就以创造独特体验而闻名,使人们津津乐道,像是让杰出乐队的成员重聚在一起;建造大型艺术装置;让图帕克“重生”。但今年,科切拉音乐节的组织方想做一些不同的事情。

“我们的任务是在YouTube直播中创造印证AR概念的时刻,让数百万在家中观看的人们感到特别而新鲜。”科切拉音乐节创新负责人Sam Schoonover说。

虽然现场表演得到了大部分关注,但科切拉音乐节幕后的无声付出才是让家庭观众观看率上升的关键。这一次,在家观看科切拉音乐节的人数要多于该音乐节的往届参加者(确切地说,要多出几百万人),这实际上将音乐节分成了两个阵营。对组织方来说,这也是一场独特的挑战。如何让每个“版本”的科切拉音乐节都能创造出特别的感觉,并且,这是一场人们期望在其中看到大动作的活动,怎样才能不负众望?

实验!

幸好,Flume的团队完全乐意进行尝试。通过与传奇艺术家Jonathan Zawada、Flume的创意团队以及节目设计师John McGuire展开合作,科切拉方面以Flume之前的巡演视效和音乐视频为基础,将所有节日活力和氛围融入到了AR设计中。
 

虚幻引擎在最先进的内容创作管线中扮演了基础角色。首先,制作团队会从Blender、Cinema 4D和3ds Max将动画模型导入到引擎中,这使团队能够对每种视觉效果进行测试,并在演出前做出现场调整。然后,经过审批的图像会被转化成精细的最终像素序列,借助运行着虚幻引擎的媒体服务器、StypeLand的合成插件以及三台真实广播摄像机提供的stYpe追踪数据,这些序列会被实时合成到Flume的直播表演中。
 

“在虚幻引擎中使用着色器时,我们开发了一个3D对象遮蔽系统,帮助我们将3D模型扩展到真实世界的尺寸,并在幕后合成它们,”All of it Now的制作人Berto Mora说,“然后,我们创建了一个触发器,这样我们就可以根据乐队的时间码在虚幻引擎中自动切换图像。”

意外惊喜和令人印象深刻的结果

结果令人印象深刻!当Flume在科切拉音乐节的主舞台上表演着《Never Be Like You》、《Say Nothing》和《Tiny Cities》等歌曲时,他周围华美而梦幻的视觉效果也让观众大为赞叹。除了演出中出现的巨型凤头鹦鹉和超现实花朵之外,还有引人注目的穿插效果,包括舞台上弹起的变形甜甜圈和从地面升起的光谱城彩虹塔,它们在观众等待下一首歌曲时(对任何演唱会来说这都是最平淡的部分)出现,娱乐观众。
图片由Goldenvoice LLC提供,保留所有权利。©2022。
“我们还遇到了一些意外惊喜,”Six Degrees执行制作人Juan Santillan回忆说,“例如,我们不知道Beck会与Flume一起登台,然而,花朵图案在画面中完美地围绕着他,就像专为他定做的一样。”
 

同时,在舞台上,所有视频源首先会经过现场色彩校正,然后进入节目的AR卡车,在那里,AR视觉效果会被合成到现场广播源中。感谢虚幻引擎的DMX集成,合成效果非常逼真:团队甚至可以将所有虚拟光照同步到舞台上。合成之后,视频源会被传回到主要的广播卡车中,Flume的节目导演可以从AR摄像机中现场剪辑出最终结果,这和他在传统演出中所做的事情没有区别。最终,他们得到了一场无缝衔接、时机完美的视觉体验,让歌迷沉浸在音乐之中。

“音乐节的体验就是要让自己完全沉浸于音乐和氛围中,在这一刻沉醉,”科切拉音乐节现场AR制作人Eric Wagliardo补充说,“通过现场AR,我们将身处家中的歌迷带到这个奇妙的地方,让他们体验Flume和Zawanda超现实的想象力。在这个地方,有300英尺高的凤头鹦鹉梦幻般地召唤着你,也有超现实的花朵在空中盘旋。”

演唱会视效的未来

除了为Flume建造布景外,科切拉音乐节的创新AR管线也开创了这样一种未来:不仅能让家中的歌迷看到增强现实的视觉效果,也可以让现实世界的观众体验到。“当鸟儿出现时,人们在直播中的参与度疯狂飙升,”Schoonover回忆说,“他们不确定那是真实存在的还是CG。”
 

对他来说,这种参与度的上升代表着现场节目视效的一个转折点:它为未来混合活动和元宇宙节日提供了模板。

“随着在线观众的增多,数字活动所带来的独特体验变得至关重要。但是,思考新技术如何影响现场的体验也很重要。我们希望这个项目能够引领新时代,通过AR眼镜和虚拟世界让歌迷体验到一种全新的音乐维度。”他补充说。

“对我们来说,从2D到3D的过渡将和从单声道到立体声的转变一样具有革命性,虚幻引擎是实现这一过渡的关键。虚幻引擎创造了一个环境,让我们可以从始至终地测试想法,迭代概念,并为科切拉音乐节的歌迷提供难忘的体验,这也标志着新未来的开始。我们很期待来年能够更进一步。”Wagliardo说。

延伸科切拉宇宙

虽然AR可能占据了主要地位,但科切拉音乐节的组织方并没有止步于此,他们将实时技术的雄心延伸到了《堡垒之夜》,为身处家中的歌迷提供了另一种挖掘科切拉音乐节体验的方式。受印地安人潮流启发的服装款式成为了《堡垒之夜》宇宙中的一部分,同时还提供了与音乐联动的新配件,展现了音乐节的有趣审美。科切拉还通过官方的Icon Radio电台接手了游戏内的广播,播放30多位科切拉音乐家的歌曲。科切拉宇宙诞生!

    立即获取虚幻引擎!

    获取全球最开放、最先进的创作工具。
    虚幻引擎包罗万象,并提供完整的源代码访问权限,开箱即用,诚意十足。
    GDC 2023
    活动
    2月15日

    GDC 2023

    和Epic Games一起参加GDC 2023,听State of Unreal主旨演讲和深刻的技术演讲,参观我们位于展厅的展位并试玩最新的虚幻引擎游戏。
    GDC 2023
    活动

    GDC 2023

    和Epic Games一起参加GDC 2023,听State of Unreal主旨演讲和深刻的技术演讲,参观我们位于展厅的展位并试玩最新的虚幻引擎游戏。
    虚幻引擎5.1现已发布!
    新闻
    11月15日

    虚幻引擎5.1现已发布!

    该版本在UE5发布的突破性功能集的基础上,提升了其在各个行业中的健壮性、效率以及通用性。立即了解有哪些新变化。
    虚幻引擎5.1现已发布!
    新闻

    虚幻引擎5.1现已发布!

    该版本在UE5发布的突破性功能集的基础上,提升了其在各个行业中的健壮性、效率以及通用性。立即了解有哪些新变化。
    虚幻引擎5.1带来电影、广播、动画和实况活动新功能
    新闻
    11月15日

    虚幻引擎5.1带来电影、广播、动画和实况活动新功能

    从通过摄像机内视效实现的虚拟制片,到动画项目以及激情四射的实况广播和活动,虚幻引擎为媒体和娱乐管线提供了更庞大、更健壮、更易用的工具集。来看看有哪些新功能吧。
    虚幻引擎5.1带来电影、广播、动画和实况活动新功能
    新闻

    虚幻引擎5.1带来电影、广播、动画和实况活动新功能

    从通过摄像机内视效实现的虚拟制片,到动画项目以及激情四射的实况广播和活动,虚幻引擎为媒体和娱乐管线提供了更庞大、更健壮、更易用的工具集。来看看有哪些新功能吧。