请在下面收听完整的播客，或继续阅读本文中的概述，然后访问我们的virtual production hub获取更多播客、视频、文章和见解。
你很可能已经亲眼见识过3Lateral的工作成果。许多3A级游戏的面部捕捉和动画背后都有这家公司的努力，例如漫威的《蜘蛛侠（Spider-Man）》、动视的《使命召唤（Call of Duty）》和Rockstar Games的《侠盗猎车（Grand Theft Auto）》与《荒野大镖客（Red Dead Redemption）》。3Lateral在《Siren》、《地狱之刃（Hellblade）》和《Osiris Black with Andy Serkis》等项目中已经与Epic Games进行过实时数字人物方面的合作。
Mastilovic爱上面部动画是因为在1989年看了突破性的电影《深渊（The Abyss）》，在该片中导演詹姆斯·卡梅隆（James Cameron）创作了电影史上第一个完全由水组成的CG面孔。“当时我完全被那个镜头迷住了，”Mastilovic说，“我想详细了解它是怎么做出来的。”
十五年后，Mastilovic将会在自己的故乡塞尔维亚创立3Lateral，并永远改变业界进行面部动作捕捉和完成表演的方式。
从微表情到真实表演
支持3Lateral工作的基础系统是面部动作编码系统（FACS），它对面部肌肉的动作进行了分类。FACS是在1960年代由研究者Paul Ekman 博士开发的，他研究了一些未受现代化影响的文化，发现一切人类用来表达情感的面部表情都是相同的。
Ekman的研究促使他发展出了一门叫做“微表情”的学问，它是指全世界所有人共有的面部肌肉收缩动作。“有一种全人类通用的非口头语言存在，这个事实让我很高兴，”Mastilovic说。
虽然视觉特效界早已使用FACS指导手动设置关键帧的面部动画，但3Lateral在此基础上又前进了一步。3Lateral的部分秘诀就是“骨架绑定逻辑”，它超越了传统的面部捕捉系统，在保留演员实时表演的精髓的同时，将它以符合实际的方式定向到数字角色上。当演员在摄像机前进行实况表演时，3Lateral的系统会将演员的面部动作实时转换为FACS，然后告诉目标面部骨架绑定该做什么。为了将真人表演合理变换到完全不同的面部结构上，3Lateral引入了数字DNA的概念。“DNA是我们在特定的一副面孔上观察到的一组测量结果，”Mastilovic解释说。“DNA文件包含相对于通用模型的特定于某个人的偏移。然后这个DNA文件就会成为将几何数据转换为语义数据的钥匙。”
3Lateral最近在《Osiris Black》项目中展示了这种技术，将演员安迪·瑟金斯（Andy Serkis）的一段莎士比亚话剧独白表演实时定向到了一个异形角色上。视频展现了这种虚拟制片技术的威力，尽管瑟金斯的面部特征与目标角色差异很大，原版表演中的真实感、情感和感染力都被保留了下来。 “那是将表演翻译成这种通用非口头语言的技术，”Mastilovic说。“我们做的基本上就是把他【瑟金斯】的表演转换成FACS代码，然后加载到异形身上。”
这个成果震惊了业界，也开辟了虚拟制片领域的实时面部表演捕捉的新天地。
超越骨架绑定：与Epic Games合作的未来
Epic在上个月收购了3Lateral。为了在CG中实现栩栩如生的人物表演，Mastilovic决心奋斗终生，他希望扩大3Lateral的研发团队，尤其希望开发出可以面向大众提供的工具。
令他苦叹的是，由于对面部捕捉和动画的需求不断增加，3Lateral去年不得不婉拒了客户向他们提议的95%的项目。Mastilovic希望随着任何人都能使用的新工具推出，再也不会有人失望地离去。
Mastilovic认为虚幻引擎作为一个工具的应用范围远不止是游戏，未来它还可应用于机器学习、通信、个人自我修养、社会研究，等等。在电影制作方面，他认为除了简单的面部捕捉，它在虚拟制片中还有许多立竿见影的用途。例如，可以实时地对演员的部分表演重新合成，为镜头尝试不同的情感节奏。“有关的应用举不胜举，”他说。“这种技术开辟了一个充满机会的美妙新天地，用户将会反过来给我们提供灵感，向我们展示我们根本没有想过的用途。”
对Mastilovic的这次播客采访是我们的《视觉效果颠覆者》系列的一部分。请访问我们的虚拟制片页面， 获取关于虚拟制片的更多精彩播客、视频和文章！