图像由迪士尼+提供
《奈德撞地球》将实时数字木偶戏用于成品电视节目
Rob DiFiglia
2021年5月18日The Jim Henson Company提供表演驱动的家庭娱乐节目已有60多年，期间赢得了数十个奖项——包括50多项艾美奖和9项格莱美奖。这家公司以原创布偶电影闻名于世，是公认的创新高手，善于使用从传统提线木偶到电动木偶和实时数字动画的各种领先业界的工具和技术。在其不计其数的作品中包括了一些特别令人难忘的大制作，例如《布偶奇遇记（Fraggle Rock）》、《黑暗水晶（The Dark Crystal）》、《迷宫（Labyrinth）》和《遥远星际（Farscape）》。
公司董事长Brian Henson是创始人Jim Henson之子，他渴望延续这种创新文化。可证明这一点的是，数十年来他一直在积极采用各种形式的虚拟制片。如今他正用系列节目《奈德撞地球（Earth to Ned）》来开辟新天地，他将这个节目的形式描述为“外星科幻片遇上美式脱口秀”。
公司董事长Brian Henson是创始人Jim Henson之子，他渴望延续这种创新文化。可证明这一点的是，数十年来他一直在积极采用各种形式的虚拟制片。如今他正用系列节目《奈德撞地球（Earth to Ned）》来开辟新天地，他将这个节目的形式描述为“外星科幻片遇上美式脱口秀”。
《奈德撞地球》正在迪士尼+播出，它结合了实景拍摄、电动木偶和实时现场表演驱动CG动画。这个节目的设定是，被派来侵略地球的外星人迷上了流行文化，于是决定制作一个采访地球名人的脱口秀节目。
现实中的名人嘉宾受邀参加节目，而主持人是电动木偶外星人奈德和科尼利厄斯，还有一个名叫贝蒂的CG人工智能，是现场在虚幻引擎中实时渲染的基于粒子的实体。
图像由迪士尼+提供
用表演来驱动CG数字动画角色的创意最初是Jim Henson本人提出的，不过是在1994年才付诸实施的，当时这家公司的家庭讽刺情景喜剧系列《恐龙（Dinosaurs）》正进入制作尾声。这个节目是使用带有数十个电动机的巨大电动木偶服创作的——穿在演员身上又热又不舒服，而且很容易发生故障。
“我们就开始想，要是能做CG动画就好了，我们还是可以让演员来表演恐龙的肢体动作，但是他们不必穿上这些大号戏服。”Henson说，“假如我们不必使用可能发生故障的45个电动机来表演头部的戏份，却还能表现出同样的活力，那该有多好。”
“我们就开始想，要是能做CG动画就好了，我们还是可以让演员来表演恐龙的肢体动作，但是他们不必穿上这些大号戏服。”Henson说，“假如我们不必使用可能发生故障的45个电动机来表演头部的戏份，却还能表现出同样的活力，那该有多好。”
图像由迪士尼+提供
为了促成这个在当时堪称石破天惊的概念，他们需要开发一套能够为演员提供实时反馈的系统。
“我们可不喜欢跑到动作捕捉的片场，让演员假装自己是恐龙表演一番，然后等上一个星期来看他作为恐龙的表演效果——那种办法行不通。”Henson解释说，“所以我们必须能够在周围的屏幕上即时看到我们作为恐龙的表演效果。”
虽然他们当时创造的专有系统经受了时间考验——他们至今仍在使用它——但是它提供的视觉效果质量不足，不能让他们直接使用输出；所有的效果还是需要离线渲染。
“它是为视效预览构建的。”Dan Ortega说，他在公司担任数字创意主管，“它并没有真正具备做出任何实时效果乃至高分辨率图像的能力。它的设计就是如此。我们用来构建它的工具只是允许我们捕获数据，然后放入后期制作管线。”
对于《奈德撞地球》，公司的计划是在片场以最终广播的质量实时渲染贝蒂，这就意味着现有系统无法胜任。不仅如此，对于贝蒂的角色，他们还需要满足一些很特别的要求。Henson希望她看起来是由电流组成的，而且能够在人类外表和外星面孔之间变换。
“我们可不喜欢跑到动作捕捉的片场，让演员假装自己是恐龙表演一番，然后等上一个星期来看他作为恐龙的表演效果——那种办法行不通。”Henson解释说，“所以我们必须能够在周围的屏幕上即时看到我们作为恐龙的表演效果。”
虽然他们当时创造的专有系统经受了时间考验——他们至今仍在使用它——但是它提供的视觉效果质量不足，不能让他们直接使用输出；所有的效果还是需要离线渲染。
“它是为视效预览构建的。”Dan Ortega说，他在公司担任数字创意主管，“它并没有真正具备做出任何实时效果乃至高分辨率图像的能力。它的设计就是如此。我们用来构建它的工具只是允许我们捕获数据，然后放入后期制作管线。”
对于《奈德撞地球》，公司的计划是在片场以最终广播的质量实时渲染贝蒂，这就意味着现有系统无法胜任。不仅如此，对于贝蒂的角色，他们还需要满足一些很特别的要求。Henson希望她看起来是由电流组成的，而且能够在人类外表和外星面孔之间变换。
图像由迪士尼+提供
接受了这些苛刻要求的人就是Ortega。“他【Henson】把它形容为一个能量球，和磁暴线圈差不多，但又不是线圈，因为它必须是由粒子组成的。”他说，“必须有把它和房间相连的闪电。他还要求它变化成一张正在说话的面孔。”
Ortega立刻明白，自己需要使用虚幻引擎来实现这些实时效果。
“借助虚幻，我们可以使用我们获奖的木偶控件在一个虚拟场景中进行交互，它具有令人惊叹的画质，很高的帧率，没有任何延迟。”他说，“虚幻给我们提供了所有需要的复杂材质、粒子和效果，我们通过这个引擎可以实时进行表演和生成动画。”
Ortega立刻明白，自己需要使用虚幻引擎来实现这些实时效果。
“借助虚幻，我们可以使用我们获奖的木偶控件在一个虚拟场景中进行交互，它具有令人惊叹的画质，很高的帧率，没有任何延迟。”他说，“虚幻给我们提供了所有需要的复杂材质、粒子和效果，我们通过这个引擎可以实时进行表演和生成动画。”
图像由迪士尼+提供
为了让贝蒂看起来就像亲临现场，他们计划通过在片场放置的屏幕创造出可以供她飘浮的“空间”。通过实时跟踪所有摄像机，可以生成正确的视差，从而制造出屏幕后面有体积存在的假象。
“另一个挑战是，Brian要求这张面孔在片场的三个不同房间之间传送，而且这一切必须在摄像机中实时发生，不需要后期制作；”Ortega说，“我们开完那次会议后，我的脑子里就在想，‘好吧，这是我们从来没做过的事。我从没见过像这样的东西。’”
既然选择了虚幻引擎作为渲染引擎，Ortega就需要将它集成到公司的现有管线中，该管线包括Autodesk Maya（用来进行角色的骨架绑定）和Henson Digital Puppetry Studio，后者是他们专有的一套硬件和软件工具，其中包括表演捕捉系统以及机械式木偶控制装置。
为了实现这个目标，Ortega的团队创建了Henson Nodeflow引擎，这是一种在不同系统之间充当网关的专有实时独立动画引擎。
他们把Maya场景导出到Nodeflow图表，这种图表模仿了Maya依赖性图表，通过仿效Maya节点功能（包括关节、约束、曲线、Blendshape和Set Driven Key等更复杂的功能）来运行导入的角色。然后Nodeflow将这些数据传递到虚幻引擎。以贝蒂为例，每帧要将4000个节点发送到虚幻引擎，用时1.5毫秒。
为了实现角色的实时骨架动画，团队创建了一个自定义流送应用程序，通过Live Link（虚幻引擎用于流送和使用来自外部源的动画数据的接口）将输出从Henson Digital Puppetry Studio发送到虚幻引擎。
“另一个挑战是，Brian要求这张面孔在片场的三个不同房间之间传送，而且这一切必须在摄像机中实时发生，不需要后期制作；”Ortega说，“我们开完那次会议后，我的脑子里就在想，‘好吧，这是我们从来没做过的事。我从没见过像这样的东西。’”
既然选择了虚幻引擎作为渲染引擎，Ortega就需要将它集成到公司的现有管线中，该管线包括Autodesk Maya（用来进行角色的骨架绑定）和Henson Digital Puppetry Studio，后者是他们专有的一套硬件和软件工具，其中包括表演捕捉系统以及机械式木偶控制装置。
为了实现这个目标，Ortega的团队创建了Henson Nodeflow引擎，这是一种在不同系统之间充当网关的专有实时独立动画引擎。
他们把Maya场景导出到Nodeflow图表，这种图表模仿了Maya依赖性图表，通过仿效Maya节点功能（包括关节、约束、曲线、Blendshape和Set Driven Key等更复杂的功能）来运行导入的角色。然后Nodeflow将这些数据传递到虚幻引擎。以贝蒂为例，每帧要将4000个节点发送到虚幻引擎，用时1.5毫秒。
为了实现角色的实时骨架动画，团队创建了一个自定义流送应用程序，通过Live Link（虚幻引擎用于流送和使用来自外部源的动画数据的接口）将输出从Henson Digital Puppetry Studio发送到虚幻引擎。
图像由迪士尼+提供
Ortega的团队还将这种连接结合虚幻引擎的可视化脚本语言蓝图使用，使操偶师能够触发各种实时效果，例如闪电、面部变化和在房间之间的传送。
大约有十几个蓝图参数与在Henson Performance Control System中程控的角色属性关联。这使得表演者能够使用曾荣获奥斯卡奖项的操偶师界面，通过手部控制、踏板和滑块等输入来调节亮度、频率和效果缩放等项目。
由于以上的种种努力，贝蒂能够与嘉宾进行互动，让那些名人也喜出望外。
“当嘉宾们来到现场，然后意识到，‘哦，她真的会在那里，’他们都兴奋极了，我想这是因为大家都以为那将是后期特效。”Henson说，“对于来到片场的嘉宾，那种假象是完美的。他们看不到任何操偶师。他们只会看到奈德，看到科尼利厄斯，并看到贝蒂。当这一切发生的时候，那真是神奇。”
大约有十几个蓝图参数与在Henson Performance Control System中程控的角色属性关联。这使得表演者能够使用曾荣获奥斯卡奖项的操偶师界面，通过手部控制、踏板和滑块等输入来调节亮度、频率和效果缩放等项目。
由于以上的种种努力，贝蒂能够与嘉宾进行互动，让那些名人也喜出望外。
“当嘉宾们来到现场，然后意识到，‘哦，她真的会在那里，’他们都兴奋极了，我想这是因为大家都以为那将是后期特效。”Henson说，“对于来到片场的嘉宾，那种假象是完美的。他们看不到任何操偶师。他们只会看到奈德，看到科尼利厄斯，并看到贝蒂。当这一切发生的时候，那真是神奇。”
图像由迪士尼+提供
在《奈德撞地球》使用实时最终像素渲染所取得的成功使团队渴望了解自己能够在多大程度上推进这一概念，他们已经在进行更多试验。
图像由迪士尼+提供
“如果我们能够开始交付全CG动画的电视节目，而且其中不需要后期制作的镜头所占比例越来越高，那么很明显，制片效率将会突飞猛进。”Henson说，“而有了虚幻，我们就可以得到质量比以前高得多的图像，成品图像。我们可以实时获得成品图像。如果没有虚幻，我们是做不到这一点的。我们尝试过。我们早就试过了。”
“通过与虚幻联手，我们可以在实景拍摄的片场中制作出成品CG动画，然后进入剪辑环节，就像实景拍摄一样完成制作。”Henson说，“这可是非常激动人心的。”
“通过与虚幻联手，我们可以在实景拍摄的片场中制作出成品CG动画，然后进入剪辑环节，就像实景拍摄一样完成制作。”Henson说，“这可是非常激动人心的。”
立即获取虚幻引擎！
获取全球最开放、最先进的创作工具。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。