顾名思义，表演捕捉的目标就是将演员独特的动作表演转移到角色身上，由此得到的逼真程度和表演个性如果改用关键帧动画来制作将是极其费时（甚至可能无法实现）的。实时表演捕捉增加了即时性要素，演员的整个表演会即时转移到CG角色身上，从而创作出实时动画序列。
脖子以下的实时动画捕捉和重定向已经在从《欢迎来到马文镇（Welcome to Marwen）》到《堡垒之夜》动画预告片的各种影片中广泛应用。虽然这种技术为现场创新和协作开启了新的大门，但是在动作捕捉之后，仍然需要更多工作才能完成角色的最终版本——面部动画必须在另一个通道中完成，然后与身体动作结合。
将实时面部捕捉和重定向添加到这一组合就会开启一个全新的大门：在演员表演时，系统会实时输出整个CG角色的最终像素。Cubic Motion、3Lateral和Digital Domain等公司最近几年一直在大力进行面部捕捉的研发，它们还为各自的用户开发了定制的表演捕捉解决方案。
但是如果你希望家里有自己的系统，或者你就是想试用一下，该怎么办呢？
如果在了解到实时表演捕捉后，你已经心痒难耐，那么你很幸运。这里介绍几种面部捕捉系统，你可以将它们整合到你的动作捕捉流程中，从而创造出可以随时随地使用的表演捕捉解决方案。
Apple iPhone X
在2018年的SIGGRAPH大会上，Real-Time Live!竞赛的优胜者是Kite & Lightning和他们的演示让动作捕捉平民化：使用iPhone X、Xsens、IKINEMA和虚幻引擎进行实时全表演动作捕捉。这个项目展示了一个实时UE4角色“Beby”，他是由身体和面部捕捉的组合驱动的。面部捕捉设备是一部iPhone X。Kite & Lightning的联合创始人Cory Strassburger把这部iPhone挂在一个彩弹游戏头盔上作为头戴式摄像机（HMC）进行了表演。在身体捕捉方面，Strassburger选择使用一套XSens MVN动作捕捉服。
从那以后这种面部捕捉方式已经被许多人仿效，现在也在UE4中得到了支持——在Epic启动程序的“学习（Learn）”选项卡下面有一个免费测试示例，它就是引擎中现在自带的面部AR范例，使用演示项目A Boy and his Kite中的角色资源。
iPhone的内置摄像机技术Apple ARKit和Apple的视觉惯性里程计都能发挥稳定镜头的作用，然后产生50多种能够驱动虚拟面部的混合形状。因此，人们现在可以把iPhone拿在手里，让此类系统在UE4中实时驱动面部，而不必把iPhone连接到头盔上。Apple甚至使用这种面部捕捉方法实现了使用动画表情或拟我表情角色的实时视频聊天。
拿在手里或连接在普通头盔上的iPhone X是一种低成本、平民化的面部捕捉解决方案。将它与身体动作捕捉装置结合，你就有了基本上可以随时随地使用的表演捕捉系统。
Cubic Motion Persona
Cubic Motion参与了UE4表演捕捉领域一些最重大的进步。从突破性的《地狱之刃》及其SIGGRAPH演示《塞娜的献祭》，到栩栩如生的Siren，Cubic Motion一直在提供驱动此类动画绑定的实时无标记跟踪和解算技术。这家公司经常为其游戏客户制作长达几个小时的面部解决方案，还以外部专家的身份被聘请帮助实施VFX项目。他们是计算机视觉和面部专家，对面部有很深的了解，也知道如何以非常高的速度和极高的质量进行解算。
现在Cubic Motion以名为Persona的套餐形式提供这些商业服务。这套系统提供硬件、软件和自定义解算器，作为一个表情捕捉和实时表演的完整高端解决方案。
虽然Apple iPhone方法是很出色的面部捕捉解决方案，但其结果并不如使用专用硬件得到的准确。Persona的头戴式摄像机非常稳定，这意味着可以更精确地读取面部表情，而它包含的自定义计算器也使它能够更灵敏地对演员个人的面部动作作出反应。
为了开发Persona，Cubic Motion将他们世界一流的面部跟踪服务与新的自定义硬件进行了结合。这套系统可以支持多名演员，每个人都要戴上3D打印的高质量HMC，配以方便演员无拘无束地进行表演的身体动画系统，让演员能够在舞台或片场自由行动。
Cubic Motion还提供了他们为3A级游戏客户提供的同种服务——在每个项目开始时，你要给他们发送动作范围（ROM）剪辑以及你的目标动画绑定。然后该团队会针对每个演员制作自定义解算器。
每个演员除了HMC外，还各有一台小型可穿戴电脑。这台电脑会进行全轨迹解算，以无线方式在片场流送数据。Persona还包含一个管理系统，安装在舞台旁边的主电脑上。制作人员可以通过它管理所有的配置并进行监控。数据流会传入虚幻引擎插件，提供实时面部动画。
该设计的一个重要特点是减少了从每个演员的Persona电脑传送到主虚幻插件的数据量。由于输送的不是完整的视频镜头，该系统具有很高的健壮性，不需要特别的线缆或发射器就能工作。
Persona并不是面向所有人的，但它确实为VFX和游戏公司提供了在内部制作优质的高端先进实时面部动画的手段。虽然Cubic Motion并不是只使用UE4，但他们很乐意指出，他们几乎所有的高端客户都选择UE4进行此类工作。
请自行了解这些解决方案，并下载虚幻引擎，看看它能为你的项目做些什么。然后访问我们的虚拟制片页面，观看关于虚拟制片的精彩播客、视频和文章！