UEFN:UE助力《FORTNITE》
文本、摄像机、开拍:用虚幻5创作AI音乐录影带
2022年7月26日
AI
Live Link
Lumen
MetaHuman
Quixel
Sagans
其他应用
动画
动画
数字人类
聚焦
音乐
如果只使用文字,就能创作出一部以《阿基拉》为灵感的赛博朋克影片,那会怎么样?对于艺术家团体Sagans来说,这是一个值得开拓的未来。最近,他们使用虚幻引擎的
MetaHuman
技术,同时配合AI算法,仅凭文本描述就为其首部音乐录影带《Coherence》生成了大部分镜头。
在最终成品所描绘的后现代图景中,一位女性正在新城市中寻找着属于自己的位置,画面采用素描风格,镜头伴随着音乐不断移动,从明亮的樱花树转场至纽约地铁。Sagans的艺术家们共同展示了,AI不一定预示着我们的工作(甚至整个世界)将被它接管的可怕前景。相反,它可能会成为释放我们全新创作潜力的关键。
观看视频
颠覆音乐行业
根据Sagans的3D专家Aurelien的说法,《Coherence》准确地代表了这个团体所要实现的目标。“我们感觉,音乐行业不愿意冒险,除非存在利益驱动因素。”他解释说,“因此靠谱的内容开始减少,这正是促使我们创办Sagans的最初原因。”
观看视频
Sagans团体由音乐家、美术设计师和研究人员组成,他们在制作第一部音乐录影带之前,并不需要等待歌曲创作完成。这为团队提供了更多的时间和自由,探索如何通过人工智能和实时图形等技术实现愿景。
“虚幻引擎5是我们最先决定采用的技术,”Aurelien继续说,“我们首先通过Quixel资产库创建了整个世界,紧接着,我们采用MetaHuman Creator创造了逼真的角色。这为我们改变了一切。突然间,我们就可以在短时间内制作出漂亮的东西了。我们知道,我们已经准备就绪,可以开始制作《Coherence》了。”
Your browser does not support HTML5 video.
视频由Sagans提供
添加AI
起初,团队决定使用大友克洋的经典动画《阿基拉》的风格,为视频的审美奠定基础。下一步就创造视频中的女主角。“在使用虚幻引擎工作之前,我们对3D世界不是很熟悉,”Aurelien说,“乍看之下,创造角色似乎是一项非常复杂的任务。幸运的是,MetaHuman Creator让事情变简单了。”
图片由Sagans提供
为了创造让观众感觉亲切的角色,团队混合了
MetaHuman
数据库中三张面孔的元素,找到了自己喜欢的结果。接下来,他们使用
iOS的Live Link Face应用
,为角色制作了面部表情动画。与此同时,Sagans的艺术家们还开始使用
Quixel
构建视频的虚幻引擎环境,从日本风格的英国街道,到纽约的地铁,应有尽有。
Your browser does not support HTML5 video.
视频由Sagans提供
“创建环境时,
Lumen
发挥了至关重要的作用,”Aurelien解释说,“有了它,我们能够在不使用大量硬件资源的前提下实时处理光照。再配合使用
Niagara
创造雨水等粒子,在短短几秒钟内,我们就可以生成与用户界面中完全一致的渲染。”
最后一步是根据场景的需要,通过三套独立的AI算法生成虚幻引擎输出,营造最终的大友克洋风格。第一套算法允许Sagans的艺术家使用文本描述场景风格,然后以视频形式将其表现出来。第二套算法会使用参考图像制作动画视频,而最后一套算法可将实景真人电影转变成风格化的动画影片。
“在大多数镜头中,我们都用到了文本转视频算法。”Aurelien补充说,“为此,我们使用
Disco Diffusion 5
帮助生成单独的帧,然后通过算法将这些帧转变成视频。我们必须确保文本内容非常详细,不仅能描述出风格,还要填补所有纰漏:如果没有提到天空,机器可能会忘记城市顶部必须有一片天空。在得到不错的第一帧画面之后,我们还要根据运镜的需要,提供足够的描述,生成接下来的帧,然后在第20帧处最后一次检查渲染。”
图片由Sagans提供
虚幻成果
由于使用了独特的实时3D和AI工作流程,从第一个镜头到《Coherence》的最终渲染,整个过程只花了三位Sagans创作者八周时间。“我们想要一种既简单易用又足够快速的解决方案,帮助我们迅速实现愿景,虚幻引擎没有让我们失望。”Aurelien补充说,“只需几次点击,我们就可以轻松创建极其精细的角色和城市环境,在没有动作捕捉服的情况下为女主角制作动画。”
现在,《Coherence》已创作完成,团队计划在未来的音乐录影带项目中继续使用虚幻引擎和AI。“第一次发布内容通常会让人伤脑筋,但《Coherence》取得了出色的反响,”Aurelien总结说,“我们希望人们明白,人工智能的出现是为了协助和激励我们,而不是抢走我们的工作,这个录影带正是我们实现这个目标的第一步。”
立即获取虚幻引擎!
获取全球最开放、最先进的创作工具。
虚幻引擎包罗万象,并提供完整的源代码访问权限,开箱即用,诚意十足。
立即开始