图片由Metaverse Entertainment提供
认识由虚幻和MetaHuman创造的虚拟韩流明星MAVE:
Jinyoung Choi
2023年6月1日
多媒体内容制作公司Metaverse Entertainment承袭了Netmarble F&C的技术和Kakao Entertainment的敏锐，具备足够的能力与基础设施制作电影和电视剧，创造从视觉特效到虚拟人类的各种内容，并将这些IP扩展成各种形式。
虚拟韩流乐队MAVE:于2023年1月底推出了首部音乐视频。视频发布后，她们在韩国的热门音乐节目《Show！音乐中心》中首次亮相，掀起了一阵韩流音乐的新热潮。MAVE:的角色逼真，动画惟妙惟肖，最关键的是音乐琅琅上口——这一切使她们赢得了广泛的关注。截至撰写这篇聚焦新闻时，MAVE:的音乐视频播放量已突破2100万次，而她们舞台首秀视频的观看记录也达到了300万次。MAVE:正在通过电视节目和社交媒体等各种方式与歌迷交流。
我们采访了Metaverse Entertainment的首席技术官兼理事Sungkoo Kang，了解Metaverse Entertainment如何利用虚幻引擎和MetaHuman创造真实的数字人类，以及如何在短时间内为多个平台创造内容。
我们采访了Metaverse Entertainment的首席技术官兼理事Sungkoo Kang，了解Metaverse Entertainment如何利用虚幻引擎和MetaHuman创造真实的数字人类，以及如何在短时间内为多个平台创造内容。
问：我觉得组建MAVE:的第一步应该是创造乐队成员。在创造数字角色时，你们的目标是什么？
创建四人虚拟乐队MAVE:时，我们的目标是创造有吸引力的角色，她们都具有崭新的面孔，在世界上独一无二。要创造有魅力的角色，仅关注外貌是不够的，还必须考虑一系列面部表情，以应对不同的情境。因此，我们集中精力，构建并完善了一套管线和技术来实现这一目标。
问：我听说，你们的角色是使用MetaHuman创造的。能否说明一下为什么选择这项技术？
正如我刚才提到的，除了迷人的外貌，要创造真实可信的角色，最重要的是针对不同的情境，准备一系列精致的面部表情。然而，创建和修改这类面部表情是一项耗时且昂贵的任务，因为它离不开绑定和建模，并且需要反复修正和验证。因此，Epic基于几十年数字人类创造经验开发出来的MetaHuman技术成了我们的完美选择。在我们的角色构建管线中，它是至关重要的一环。
我们能够通过MetaHuman面部绑定轻松创建我们想要的面部表情，并在角色之间共用动画。此外，我们还能够参考Epic Games发布的《Rig Logic：MetaHuman面部绑定的运行时评估》白皮书，集中精力展开研发工作（例如，改进控制绑定）。同时，这项技术高度兼容NVIDIA的Audio2Face、iPhone的Live Link Face应用、Faceware和FACEGOOD等外部工具，这使我们能够共享底层的网格体拓扑结构、UV、关节结构和功能按钮，从而应用MetaHuman的动画，并大幅减少实际制作时间。
问：你们为什么选择将虚幻引擎与MetaHuman搭配在一起使用？
计划MAVE:项目时，我们深入地思考了项目的定位以及我们希望该虚拟乐队参加的活动类型。内容的制作效率是我们要考虑的头等大事。大量的活动意味着需要制作大量内容，这对制作效率提出了要求。如果无法满足这种效率，我们可能不得不在视觉质量上做出妥协。因此我们选择了虚幻引擎，它不仅能够提供效率，也带来了优秀的实时渲染质量。我们使用虚幻引擎扩展了MAVE:在各个领域的活动范围，这包括在短时间内制作一段跨媒体音乐视频，让她们参与社交媒体活动，并出演即将播出的电视节目和商业广告。
社交媒体是进行交流和创造纽带的重要渠道，为了利用它实现这些目标，我们需要大量各种形式的优质内容。因此我们选择了虚幻引擎，而非其他工具。通过使用虚幻引擎，我们能够创建各种形式的内容，包括逼真的图像和视频，用来在多个社交平台上与歌迷互动。
问：请介绍一下MAVE:各位角色的创造管线。
MAVE:创造团队的专业人才具有各种不同的背景（例如，可能来自游戏和电影行业），因此团队成员可以根据自己的专长，使用不同的DCC工具。举例而言，具有游戏行业背景的团队成员精通实时渲染，而来自媒体与娱乐行业的成员则拥有视频媒体制作方面的专业知识，所以我们建立了特殊的管线，最大限度地发挥所有团队成员之间的协作效果。
这套管线包含角色策划和角色创建。角色创建可以细分为多个具体的步骤，如建模、创建和绑定面部表情、创造头发，以及校准身体。
我们会在角色策划阶段设计每位角色的外貌。这个过程离不开与Kakao Entertainment专家的密切合作，在策划成功的韩流乐队方面，他们有着丰富的经验。然而，传统韩流乐队的成员选拔自现成的练习生人才库，其外貌由妆容和造型决定。但对于虚拟乐队而言，我们必须将虚拟人类塑造成有魅力的崭新人物，我们要关注的不仅仅是其外貌，还有细致的面部表情、动作和语言模式等。
为了弥补这种差别，并提供尽可能接近策划团队原来环境的工作环境，制作团队构建了一套管线，允许他们使用GAN网络自动生成目标图片，并手动修改或组合特征向量。如此一来，策划团队无需从头开始创造角色的外貌，他们能够选择现有的角色，并依据策划修改其参数。在打造成功的韩流乐队方面，策划团队多年来已经建立起了成熟的方案，他们通过分享与此相关的深刻见解，为我们提供了帮助。
创建四人虚拟乐队MAVE:时，我们的目标是创造有吸引力的角色，她们都具有崭新的面孔，在世界上独一无二。要创造有魅力的角色，仅关注外貌是不够的，还必须考虑一系列面部表情，以应对不同的情境。因此，我们集中精力，构建并完善了一套管线和技术来实现这一目标。
问：我听说，你们的角色是使用MetaHuman创造的。能否说明一下为什么选择这项技术？
正如我刚才提到的，除了迷人的外貌，要创造真实可信的角色，最重要的是针对不同的情境，准备一系列精致的面部表情。然而，创建和修改这类面部表情是一项耗时且昂贵的任务，因为它离不开绑定和建模，并且需要反复修正和验证。因此，Epic基于几十年数字人类创造经验开发出来的MetaHuman技术成了我们的完美选择。在我们的角色构建管线中，它是至关重要的一环。
我们能够通过MetaHuman面部绑定轻松创建我们想要的面部表情，并在角色之间共用动画。此外，我们还能够参考Epic Games发布的《Rig Logic：MetaHuman面部绑定的运行时评估》白皮书，集中精力展开研发工作（例如，改进控制绑定）。同时，这项技术高度兼容NVIDIA的Audio2Face、iPhone的Live Link Face应用、Faceware和FACEGOOD等外部工具，这使我们能够共享底层的网格体拓扑结构、UV、关节结构和功能按钮，从而应用MetaHuman的动画，并大幅减少实际制作时间。
问：你们为什么选择将虚幻引擎与MetaHuman搭配在一起使用？
计划MAVE:项目时，我们深入地思考了项目的定位以及我们希望该虚拟乐队参加的活动类型。内容的制作效率是我们要考虑的头等大事。大量的活动意味着需要制作大量内容，这对制作效率提出了要求。如果无法满足这种效率，我们可能不得不在视觉质量上做出妥协。因此我们选择了虚幻引擎，它不仅能够提供效率，也带来了优秀的实时渲染质量。我们使用虚幻引擎扩展了MAVE:在各个领域的活动范围，这包括在短时间内制作一段跨媒体音乐视频，让她们参与社交媒体活动，并出演即将播出的电视节目和商业广告。
社交媒体是进行交流和创造纽带的重要渠道，为了利用它实现这些目标，我们需要大量各种形式的优质内容。因此我们选择了虚幻引擎，而非其他工具。通过使用虚幻引擎，我们能够创建各种形式的内容，包括逼真的图像和视频，用来在多个社交平台上与歌迷互动。
问：请介绍一下MAVE:各位角色的创造管线。
MAVE:创造团队的专业人才具有各种不同的背景（例如，可能来自游戏和电影行业），因此团队成员可以根据自己的专长，使用不同的DCC工具。举例而言，具有游戏行业背景的团队成员精通实时渲染，而来自媒体与娱乐行业的成员则拥有视频媒体制作方面的专业知识，所以我们建立了特殊的管线，最大限度地发挥所有团队成员之间的协作效果。
这套管线包含角色策划和角色创建。角色创建可以细分为多个具体的步骤，如建模、创建和绑定面部表情、创造头发，以及校准身体。
我们会在角色策划阶段设计每位角色的外貌。这个过程离不开与Kakao Entertainment专家的密切合作，在策划成功的韩流乐队方面，他们有着丰富的经验。然而，传统韩流乐队的成员选拔自现成的练习生人才库，其外貌由妆容和造型决定。但对于虚拟乐队而言，我们必须将虚拟人类塑造成有魅力的崭新人物，我们要关注的不仅仅是其外貌，还有细致的面部表情、动作和语言模式等。
为了弥补这种差别，并提供尽可能接近策划团队原来环境的工作环境，制作团队构建了一套管线，允许他们使用GAN网络自动生成目标图片，并手动修改或组合特征向量。如此一来，策划团队无需从头开始创造角色的外貌，他们能够选择现有的角色，并依据策划修改其参数。在打造成功的韩流乐队方面，策划团队多年来已经建立起了成熟的方案，他们通过分享与此相关的深刻见解，为我们提供了帮助。
图片由Metaverse Entertainment提供
图片使用GAN网络合成
由于角色风格将直接影响面部模型，在展开面部定义步骤中的建模工作之前，我们与熟悉韩流乐队服装和发型的专业造型师进行合作，确定了成功的造型。如果我们扫描真正的人类，就能更快地创造出逼真的外貌，但这也会带来一些问题，比如很难找到看起来完全符合我们心意的人，还会存在肖像权问题。所以我们使用建模工具创造了MAVE:的面孔。
图片由Metaverse Entertainment提供
MAVE:的3D建模
在面部表情的创建和修改步骤中，我们采用自己的工具分析了模型，并利用每个面部区域的位置和大小信息以及肌肉运动信息自动生成了大约800种面部表情。整个过程差不多就是在输入基本的网格体类型时自动生成面部表情，与网格体转MetaHuman插件的功能类似。我们之所以开发了自己的工具，是因为网格体转MetaHuman插件当时尚未发布，但其发布后，在根据需要修改算法和建立自动化管线方面，它对我们大有帮助。
另外，作为对标准面部表情的补充，我们还构建了一项定制独特面部表情的功能，以反映角色的个性。添加这些新的面部表情需要合适的绑定，所以我们在虚幻引擎中自动生成了控制绑定，并为角色设置了它们。
图片由Metaverse Entertainment提供
眉毛上扬、眼睛闭合或瞳孔缩小时皱纹的消除过程。
头发基底是使用Maya的XGen工具集创建的。虚幻引擎使用Groom渲染头发，这个过程是实时的，但质量非常高，还为我们节省了大量时间。然而，有时候，我们不能使用Groom，因为我们需要实现更高的性能。为了应对这种情况，我们创建了一款工具，将基于Groom的头发转变成发片。我们通过自动化方式优化了工作流程，在修改和应用发型时，不再需要手动执行任务（例如在转变发型的过程中，如果绑定资产不存在，就创建它）。
在身体校准步骤中，我们也采用了自动化技术；我们还利用了几十种校准形状，根据姿势修改身体形状。我们开发了一种新的解算算法，以避免使用Maya径向基函数解算器（RBF）时可能出现的问题（包括无法将层次结构应用于插值，以及应用精细设置时更有可能出现的非预期身体形状）。
此外，通过使用虚幻引擎的物理系统、布料模拟、AnimDynamic节点以及其他各种解决方案，我们在服装和配饰中创造出了自然的反应。团队还利用虚幻引擎对DMX的支持，成功地创造了一座壮观的舞台。
在身体校准步骤中，我们也采用了自动化技术；我们还利用了几十种校准形状，根据姿势修改身体形状。我们开发了一种新的解算算法，以避免使用Maya径向基函数解算器（RBF）时可能出现的问题（包括无法将层次结构应用于插值，以及应用精细设置时更有可能出现的非预期身体形状）。
此外，通过使用虚幻引擎的物理系统、布料模拟、AnimDynamic节点以及其他各种解决方案，我们在服装和配饰中创造出了自然的反应。团队还利用虚幻引擎对DMX的支持，成功地创造了一座壮观的舞台。
图片由Metaverse Entertainment提供
（左）应用校准形状为手部形状计算插值之前；（右）应用校准形状之后
问：筹划并创造逼真的舞台，将韩流音乐的激情与虚拟乐队联结在一起肯定充满困难。这个过程是怎样的？
为了创作能够体现韩流情感的音乐视频，我们与曾实际执导过此类视频的导演、摄影指导、设备操控团队、摇臂操作员以及真人韩流舞蹈团队展开了合作。我们还试着重现和提供了一个与传统流程及条件完全相同的舞台环境，让这支韩流制作团队能够充分发挥其所长。作为这项工作的一部分，我们建造了一座大型（20米×20米×8米）视效中心，以便在像实际音乐视频布景那样宽敞的空间中捕捉动作，我们计划捕捉的不仅仅是演员的表演，还有实际拍摄设备的运动轨迹，这样一来，我们稍后就可以重现音乐视频中眩目的运镜效果。
演员们穿着动作捕捉套装表演舞蹈，我们像拍摄真正的现场音乐表演那样，将这一切记录了下来。这些使用Mo-Sys StarTracker追踪的摄像机数据将用于直接在虚幻引擎中创建最终虚拟表演，营造一种真实可信的感觉。我们在虚幻引擎中预览了摄像机的角度和演员的动作，这让我们可以即时在现场检查结果，然后在Vicon Shogun和虚幻引擎中同步录制。
录制的方式也与真正的韩流音乐视频一样，同时捕捉了四名成员的表演。我们首先使用摄像机现场拍摄的动作捕捉数据编辑剪辑，然后根据剪辑过的镜头整理动作捕捉。这样一来，我们就能够重点关注将在最终版本中实际使用的部分。我们得到的动作源自真实的人类，因此它们看上去更自然。
立即获取虚幻引擎！
获取全球最开放、最先进的创作工具。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。