文本、摄像机、开拍:用虚幻5创作AI音乐录影带

2022年7月26日
如果只使用文字,就能创作出一部以《阿基拉》为灵感的赛博朋克影片,那会怎么样?对于艺术家团体Sagans来说,这是一个值得开拓的未来。最近,他们使用虚幻引擎的MetaHuman技术,同时配合AI算法,仅凭文本描述就为其首部音乐录影带《Coherence》生成了大部分镜头。

在最终成品所描绘的后现代图景中,一位女性正在新城市中寻找着属于自己的位置,画面采用素描风格,镜头伴随着音乐不断移动,从明亮的樱花树转场至纽约地铁。Sagans的艺术家们共同展示了,AI不一定预示着我们的工作(甚至整个世界)将被它接管的可怕前景。相反,它可能会成为释放我们全新创作潜力的关键。
 

颠覆音乐行业

根据Sagans的3D专家Aurelien的说法,《Coherence》准确地代表了这个团体所要实现的目标。“我们感觉,音乐行业不愿意冒险,除非存在利益驱动因素。”他解释说,“因此靠谱的内容开始减少,这正是促使我们创办Sagans的最初原因。”
 

Sagans团体由音乐家、美术设计师和研究人员组成,他们在制作第一部音乐录影带之前,并不需要等待歌曲创作完成。这为团队提供了更多的时间和自由,探索如何通过人工智能和实时图形等技术实现愿景。

“虚幻引擎5是我们最先决定采用的技术,”Aurelien继续说,“我们首先通过Quixel资产库创建了整个世界,紧接着,我们采用MetaHuman Creator创造了逼真的角色。这为我们改变了一切。突然间,我们就可以在短时间内制作出漂亮的东西了。我们知道,我们已经准备就绪,可以开始制作《Coherence》了。”
 
视频由Sagans提供

添加AI

起初,团队决定使用大友克洋的经典动画《阿基拉》的风格,为视频的审美奠定基础。下一步就创造视频中的女主角。“在使用虚幻引擎工作之前,我们对3D世界不是很熟悉,”Aurelien说,“乍看之下,创造角色似乎是一项非常复杂的任务。幸运的是,MetaHuman Creator让事情变简单了。”
图片由Sagans提供
为了创造让观众感觉亲切的角色,团队混合了MetaHuman数据库中三张面孔的元素,找到了自己喜欢的结果。接下来,他们使用iOS的Live Link Face应用,为角色制作了面部表情动画。与此同时,Sagans的艺术家们还开始使用Quixel构建视频的虚幻引擎环境,从日本风格的英国街道,到纽约的地铁,应有尽有。
 
视频由Sagans提供

“创建环境时,Lumen发挥了至关重要的作用,”Aurelien解释说,“有了它,我们能够在不使用大量硬件资源的前提下实时处理光照。再配合使用Niagara创造雨水等粒子,在短短几秒钟内,我们就可以生成与用户界面中完全一致的渲染。”

最后一步是根据场景的需要,通过三套独立的AI算法生成虚幻引擎输出,营造最终的大友克洋风格。第一套算法允许Sagans的艺术家使用文本描述场景风格,然后以视频形式将其表现出来。第二套算法会使用参考图像制作动画视频,而最后一套算法可将实景真人电影转变成风格化的动画影片。

“在大多数镜头中,我们都用到了文本转视频算法。”Aurelien补充说,“为此,我们使用Disco Diffusion 5帮助生成单独的帧,然后通过算法将这些帧转变成视频。我们必须确保文本内容非常详细,不仅能描述出风格,还要填补所有纰漏:如果没有提到天空,机器可能会忘记城市顶部必须有一片天空。在得到不错的第一帧画面之后,我们还要根据运镜的需要,提供足够的描述,生成接下来的帧,然后在第20帧处最后一次检查渲染。”
 

虚幻成果

由于使用了独特的实时3D和AI工作流程,从第一个镜头到《Coherence》的最终渲染,整个过程只花了三位Sagans创作者八周时间。“我们想要一种既简单易用又足够快速的解决方案,帮助我们迅速实现愿景,虚幻引擎没有让我们失望。”Aurelien补充说,“只需几次点击,我们就可以轻松创建极其精细的角色和城市环境,在没有动作捕捉服的情况下为女主角制作动画。”

现在,《Coherence》已创作完成,团队计划在未来的音乐录影带项目中继续使用虚幻引擎和AI。“第一次发布内容通常会让人伤脑筋,但《Coherence》取得了出色的反响,”Aurelien总结说,“我们希望人们明白,人工智能的出现是为了协助和激励我们,而不是抢走我们的工作,这个录影带正是我们实现这个目标的第一步。”

    立即获取虚幻引擎!

    获取全球最开放、最先进的创作工具。
    虚幻引擎包罗万象,并提供完整的源代码访问权限,开箱即用,诚意十足。
    通过在线或亲临现场的方式,和我们一起参加GDC 2024
    活动
    1月17日

    通过在线或亲临现场的方式,和我们一起参加GDC 2024

    关注State of Unreal,获取来自Epic及其合作伙伴的最新公告,深入探索我们的技术讲座,并通过我们的研讨会和学习剧场获取灵感和信息。
    通过在线或亲临现场的方式,和我们一起参加GDC 2024
    活动

    通过在线或亲临现场的方式,和我们一起参加GDC 2024

    关注State of Unreal,获取来自Epic及其合作伙伴的最新公告,深入探索我们的技术讲座,并通过我们的研讨会和学习剧场获取灵感和信息。
    精选免费商城内容 - 2024年2月
    新闻
    2月6日

    精选免费商城内容 - 2024年2月

    奇幻室内场景、风格化水晶矿洞以及重返90年代的穿越之旅等——虚幻商城2月精选免费3D资产现已上线!
    精选免费商城内容 - 2024年2月
    新闻

    精选免费商城内容 - 2024年2月

    奇幻室内场景、风格化水晶矿洞以及重返90年代的穿越之旅等——虚幻商城2月精选免费3D资产现已上线!
    虚幻商城2月特卖:超过2000种商品五折特惠
    新闻
    2月5日

    虚幻商城2月特卖:超过2000种商品五折特惠

    复古的咖啡馆、乡村风格的室内环境、低多边形的城镇、可定制的NPC角色……二月的商城特卖将为所有人提供合适的资源。现在就行动起来,以半价购买本月精选好物。
    虚幻商城2月特卖:超过2000种商品五折特惠
    新闻

    虚幻商城2月特卖:超过2000种商品五折特惠

    复古的咖啡馆、乡村风格的室内环境、低多边形的城镇、可定制的NPC角色……二月的商城特卖将为所有人提供合适的资源。现在就行动起来,以半价购买本月精选好物。