Ncam提供了一个完整的可定制平台，可实现实时的虚拟布景和图形。这个平台的核心是他们独特的摄像机追踪解决方案，它使用特殊的摄像机硬件附件和复杂的软件来提供虚拟和增强图形技术。这套系统使用一个贴在摄像机上的轻量化感应棒来追踪环境中的自然特征，使摄像机能够一边在所有位置自由移动，一边生成极其精确的位置、旋转和镜头连续信息流。这些信息通过Ncam功能强大的SDK输送到UE4插件中。
这套系统可以用于任何类型的制片，既可用于室内也可用于室外，既可用于吊威亚的装置也可用于手持摄像机拍摄。Ncam的产品遍布世界各地，已经被用于《海王（Aquaman）》（华纳兄弟）、《游侠索罗：星球大战外传（Solo:A Star Wars Story）》（迪士尼）、《死侍2（Deadpool 2）》（漫威）、《权力的游戏第八季（Game of Thrones Season 8）》（HBO）、第五十三届超级碗（CBS）, 欧洲冠军联赛（BT Sport）、NFC冠军赛（Fox Sports）和周一橄榄球之夜（ESPN）的制作。实现精确追踪的专用硬件
Ncam依赖的核心组件是一种安装在摄像机上的专用硬件。这个小巧轻便的感应棒综合了一套传感器。最显眼的是两部计算机立体视觉摄像机。不那么显眼的就是Ncam硬件棒中的另外12个传感器。这其中包括了加速度计和陀螺仪，配合那两台立体摄像机，使得Ncam能够全面看到带空间深度的布景，并获得实时3D点云。
同一套硬件还与镜头中的各种控件相连，例如Preston跟踪聚焦控件，这意味着Ncam知道镜头在哪里，它在看什么，焦点和景深如何，以及镜头前的所有物体都在什么位置。道具、布景、演员、摄像机和镜头都会实时地被映射和理解。通过这种非同一般的方法，UE4引擎能够了解真实场景，在你观看的同时将实拍的图形元素、角色和布景集成到无缝的制片中。收集数据以实现预测运动
Ncam从一开始就将包括视觉追踪、测程法和惯性导航系统在内的不同技术融合，用于解决摄像机追踪的问题。但是，除了收集数据之外，Ncam还能提供洞察信息。软件使用这些数据执行预测运动，并具有健壮的冗余性。它知道摄像机在哪里，也会猜测它的去向。对于来自摄像机的任何有用信号的丢失，软件都会进行处理。如果演员挡住了两个立体镜头中的一个乃至全部，系统将继续根据其余的聚合传感器数据不间断运行。
软件会将所有这些数据集成到一个有用的UE4输入中。例如，虽然计算机立体视觉摄像机最高只能以120 fps的速度运行，但其他传感器是以250 fps的速度运行，因此系统会对各种各样的数据重新定时并规格化为一个一致而稳定的输出，它的时钟是根据主要制片摄像机的时间代码设定的。
某些布景中的光照具有非常大的挑战性，而Ncam设有以红外模式运行摄像机的选项，用于有频闪或闪光灯的场景。该系统的设计也确保了低延迟，因此摄像机操作员可以将实景拍摄与UE4图形的复合输出作为组合的镜头来查看，从而大大提高取景和遮挡的准确性。如果你能看到骑士与龙搏斗的完整场景，而不是只看到一个穿着盔甲的人在绿幕前演戏，那么安排镜头的难度自然会大大降低。
精确的镜头校准和匹配
摄像机追踪可解析为六个自由度：XYZ位置和三个旋转角度。在此基础上还要添加制片摄像机的镜头数据。除了焦距、光圈和缩放外，Ncam还必须在所有可能的缩放、焦距和光圈调节过程中了解正确的透镜曲率或畸变，这样才能使UE4图形与实景拍摄完美匹配。任何广角镜头都会使影像出现明显的弯曲，使现实世界中的直线变成曲线。所有实时图形都必须逐帧与此匹配，使镜头属性根据镜头序列号映射。每一个镜头都是不同的，因此虽然制片可能从一个模板开始（例如Cooke 32毫米S4/i镜头），但Ncam提供了一个镜头校准系统，可以补偿个体差异。
Ncam与Arri的Lens Data System（LDS）等系统兼容，但这些系统通常不会提供镜头的整个光学范围中的图像畸变。在任何项目开始时，制片方都可以通过Ncam的专有图表和工具系统校准自己的镜头，从而映射其镜头的畸变和边线校正，然后只要按序列号引用即可。
最终系统会产生稳定、流畅、准确的信息，可以使实时图形与实景拍摄素材完美配合。Ncam创始人Nic Hatch解释说：“我们花了很多时间来融合不同传感器中的各种技术，我想这就是我们的秘诀，也是这套系统效果如此出色的原因所在。”
利用Real Depth整合CG元素
Ncam的另一个重大优点是对景深的理解。在UE4中综合各种元素时，引擎通过Ncam的“Real Depth”功能，可以知道实景拍摄素材相对于UE4摄像机的位置。这样一来，就可以拍摄演员在UE4图形元素或虚拟布景的前方或后方行走的镜头。如果没有景深信息，任何视频在UE4中都会像一块平板。有了Ncam，当演员在摄影棚中迈步前行时，他们在UE4中也会迈步前行，以正确的距离经过各种各样的物体。这个功能为制片增加了巨大的价值，能够使实景拍摄素材与实时图形的整合显得远比以前可信。这个功能彻底改变了Ncam在动作影像、说明性新闻影像和叙事影像中的用途。
“对我们来说，游戏引擎整合一直是非常重要的，”Hatch说。“在2016年的一次行业展会上，我们展示了我认为是业内首创的这种实景拍摄与虚幻引擎整合的原型，因此我们与虚幻有着非常密切的关系，”该公司在去年将工作团队扩大了一倍，而人数最多的一部分Ncam人员是和研发有关的。他们的开发工作中的一个关键部分就是构建API并链接到UE4之类的软件中，实现极其高效的虚拟制片管道。“我们做的工作很复杂，需要大量研发，”他补充说。通过Real Light实现先进的真实世界光照匹配
虽然Ncam主要的工作重点是理解摄像机前方的空间以及摄像机正在做什么，但该公司还拥有一个用于理解场景光照的先进工具。他们的“Real Light”项目”允许在场景中放置实时光线探测器，向UE4引擎提供更改光照水平和方向的信息。
Real Light的设计目的是解决使虚拟制片资源看起来像真实世界场景的一部分的难题。Real Light会捕获真实世界光照的方向、颜色、强度和HDR映射等信息，使虚幻引擎能够根据每一次光照变化进行调整。重要的是，它还能理解场景中光源的景深和位置，使两个世界能够正确互动。这意味着数字资源能够在技术上融入场景并且看起来有正确的光照，这是实景拍摄游戏资源整合领域的一大进步。
有兴趣进一步了解改变现场制片面貌的新技术、技巧和最佳实践吗？请访问我们的Virtual Production hub，或者查看我们关于广播的其他博文。