《Blue Dot》的幕后故事:MetaHuman Animator为影片带来令人惊叹的保真度

2023年9月20日
在计算机图形学的世界里,人们数十年来始终在努力追求创造出逼真的数字人类。这一目标已初步得到实现:许多人已成功制作出使人难辨真假的静态数字人类图像但通常,如果利用这些角色进行表演,恐怖谷效应就会逐渐显现——这在需要实时渲染的情况下尤为明显。

Epic Games旗下的MetaHuman团队(包括数字人类创新公司3LateralCubic Motion)承担起了改变这一切的使命。他们先是推出了MetaHuman Creator,让每个人都能创造逼真的数字人类。随后,他们将这项技术向前推进了一步,允许人们使用网格体转MetaHuman功能,根据角色的雕刻数据或现有人物的扫描数据创建MetaHuman。

在最近的版本中,该团队推出了MetaHuman Animator。借助此项功能,人们只需使用立体头戴式摄像机(甚至一台iPhone),就能捕捉演员的表演,并在几分钟内将表演转化为MetaHuman的高保真面部动画。MetaHuman Animator会在数字角色上如实重现演员表演中的所有细微之处——在以前,这需要专家团队花费数月时间才能完成。

在开发过程中,为了彻底挖掘MetaHuman Animator的潜力,塞尔维亚的3Lateral团队与当地美术师及电影制作者合作,制作了短片《Blue Dot》。该短片由著名演员Radivoje Bukvić提供表演,摄影师Ivan Šijak担任摄影指导。包括头发在内的整个序列都由虚幻引擎渲染,能够实时运行。

这部影片展示了MetaHuman Animator如何赋予团队新能力,让他们能够利用传统电影制作中的典型现场创作流程,对表演进行指导和捕捉,进而创作出具有超高保真度和强烈震撼感的影片画面。更重要的是,动画不仅开箱即用,而且质量极高,只需要一支小型动画师团队就能完成最后的打磨。
 

在数字制片中引入传统电影制作技术

为了启动该项目,3Lateral使用其定制的4D扫描技术采集了Bukvić的肖像数据。虽然3Lateral团队根据这些数据创建了定制的MetaHuman绑定,但对于任何数字角色,包括使用MetaHuman Creator网格体转MetaHuman功能创建的角色,只要其面部绑定使用了与MetaHuman面部描述标准相符的控制逻辑,你就可以为其套用MetaHuman Animator根据表演捕捉创建的动画数据。

尽管该作品将完全使用数字技术制作,但在整个过程中,Šijak及其团队从传统电影制作中借鉴了大量经验。

为了完全按照实景拍摄的标准设计光照,他们引入了物理光源,并对其做出调整,以获得他们想要在Bukvić身上实现的外观。在演员离开动作捕捉现场之前,他们就可以在虚幻引擎中以数字方式重现选定的光照设置,以便快速预览光照是否与Bukvić的动画MetaHuman搭配,然后在需要的情况下立即重新进行拍摄。当然,数字光照有一点与物理光照不同,人们可以事后对其做出调整。Šijak并没有忽视这些好处。
“即使现场并不存在光照,只要在这样的环境中工作,你就能看到光照在演员身上的效果,并在事后做出调整。”他说,“感觉很自然,工作流程也非常顺利。”
为了增加真实感,他们还将配有滑轨的实体电影摄像机搬进了动作捕捉摄影棚。这些摄像机以及Bukvić的身体(当然还有他的面部)都会被追踪。有了这些准备工作,团队能够在虚幻引擎中精确重现摄像机的运动以及Bukvić的MetaHuman直接对着摄像机做出的表演。
“想象力是提升表演效果的关键因素之一。”他说,“只要遵从内心的情感,身体就会在镜头前不由自主地动起来。[......]在这部作品中,我试着探索了自己的内心世界,结果确实出类拔萃。”
 

聚焦于特写画面

动作几乎全部集中在了角色的面部,这或许是团队为自己设立的挑战。

“特写镜头是电影和电影艺术的基础。”Šijak说,“观众将通过这种方式与角色交流和交换情感。一切都会在特写镜头中表达出来。”
3Lateral的业务开发主管Uroš Sikimić解释了他们如何利用这项挑战推动MetaHuman Animator的开发。“人类的面部非常复杂。”他说,“我们需要借助足够强大的工具分析所有这些信息,不能试图手动重现人类面部每一块肌肉的运动。”
 

3Lateral的美术总监Aleksandar Popov继续发表了看法。“眼睛显然是最重要的一个方面,”他说,“那里是决定整体印象成败的关键。因此,我们投入了大量精力,从美术角度进行设计,然后让技术完成剩下的工作。”
 

Bukvić的面部表演是通过一对立体头戴式摄像机录制的。随后,团队在MetaHuman Animator中使用4D解算器处理了视频以及计算出的深度数据,捕捉了表演中的每一个微妙细节和细微之处,甚至还重建了眼睛的注视动作。

有了MetaHuman Animator,只需几分钟就能看到结果。如果需要,人们还可以在虚幻引擎中进一步调整动画,实现更精细或更夸张的效果,然而,《Blue Dot》的团队发现,MetaHuman Animator输出的动画极少需要通过手动干预进行润色。
“没想到我的表演会被如此自然地重现出来。”Bukvić说,“我看到所有微小细节都被保留下来了,我当时大受震撼。”

这些结果是即时生成的,将对美术师、动画师和演员之间的迭代过程起到推动作用——这一切与表演捕捉的保真度相结合,将使MetaHuman Animator成为影片创作的强大工具。如今,动画工作室可以在片场与演员合作,利用他们的创意直觉指导表演,并将表演如实地转化为动画内容,进而创作出情感丰富的影视作品。

“输出结果的质量是如此之高,让人无法分辨它是通过这项技术制作出来的,还是使用真正的摄像机在现场拍摄的。”Šijak说,“摄影技巧、演员的表演,以及一切能让观众代入镜头的东西都被保留下来了。没有任何缺失。”
通过iPhone捕捉高质量面部动画

MetaHuman Animator的一大优点是,它不需要你拥有专业的立体头戴式摄像机或其他昂贵的硬件,只要有一部iPhone(12或以上)和一台桌面电脑,你就可以使用它。这意味着,你可以利用家中现有的设备,在虚幻引擎中使用任何MetaHuman角色创作自己的影视作品。

你可以在我们的​​MetaHuman社区中心了解更详细的入门信息,并浏览完整的文档,或与其他开发者和创作者探讨你的项目。

    获取MetaHuman Animator

    MetaHuman Animator已经做好准备,随时等候为你的数字人类添加笑颜。它是虚幻引擎MetaHuman插件的一部分,需要在虚幻引擎5.2或更高版本中使用。立即下载最新版本并开始体验吧。
    通过在线或亲临现场的方式,和我们一起参加GDC 2024
    活动
    1月17日

    通过在线或亲临现场的方式,和我们一起参加GDC 2024

    关注State of Unreal,获取来自Epic及其合作伙伴的最新公告,深入探索我们的技术讲座,并通过我们的研讨会和学习剧场获取灵感和信息。
    通过在线或亲临现场的方式,和我们一起参加GDC 2024
    活动

    通过在线或亲临现场的方式,和我们一起参加GDC 2024

    关注State of Unreal,获取来自Epic及其合作伙伴的最新公告,深入探索我们的技术讲座,并通过我们的研讨会和学习剧场获取灵感和信息。
    精选免费商城内容 - 2024年2月
    新闻
    2月6日

    精选免费商城内容 - 2024年2月

    奇幻室内场景、风格化水晶矿洞以及重返90年代的穿越之旅等——虚幻商城2月精选免费3D资产现已上线!
    精选免费商城内容 - 2024年2月
    新闻

    精选免费商城内容 - 2024年2月

    奇幻室内场景、风格化水晶矿洞以及重返90年代的穿越之旅等——虚幻商城2月精选免费3D资产现已上线!
    虚幻商城2月特卖:超过2000种商品五折特惠
    新闻
    2月5日

    虚幻商城2月特卖:超过2000种商品五折特惠

    复古的咖啡馆、乡村风格的室内环境、低多边形的城镇、可定制的NPC角色……二月的商城特卖将为所有人提供合适的资源。现在就行动起来,以半价购买本月精选好物。
    虚幻商城2月特卖:超过2000种商品五折特惠
    新闻

    虚幻商城2月特卖:超过2000种商品五折特惠

    复古的咖啡馆、乡村风格的室内环境、低多边形的城镇、可定制的NPC角色……二月的商城特卖将为所有人提供合适的资源。现在就行动起来,以半价购买本月精选好物。