2020年4月22日
感人纪录片探索VR的共情新可能
在《遇见你（Meeting You）》中，一位悲伤的母亲通过虚拟现实与她已故的女儿重逢。这部纪录片由韩国电视台文化放送株式会社（MBC）制作，在2月6日播出，让广大电视观众目睹了一位母亲催人泪下的情感之旅。
（本视频转载自YouTube：视频原址）
这个项目始于一个问题：“如果你能再次见到天国里的至爱，你会对他们说什么？”在试验了一些不同的创意后，制作团队决定将VR与纪录片的手法相结合。该团队在寻找项目的参与者时听说了张智星（Ji-sung Jang）的故事，她是四个孩子的母亲。她的第三个孩子娜妍于2016年秋不幸去世，时年仅7岁。智星希望能有机会在已故女儿的生日为她做海带汤，并告诉她，自己深深爱着她，每天都会想念她。
在这个项目得到确认后，Vive Studios帮助以VR形式再现了娜妍，让智星能够和逝去的女儿共处一段时间。
依靠放送团队和Vive Studios的共同努力，智星在MBC的虚拟演播室中与娜妍实现了重逢。几年来一直思念着女儿的智星终于有机会再次将自己的爱意告诉她。娜妍似乎对自己得到的生日大餐很高兴，许下了生日愿望，并说出了：“我爱你，妈妈。”最后小女孩变成一只美丽的白蝴蝶翩翩离去。
MBC和Vive Studios花了七个月时间为智星打造这款体验，让她感到自己能够再次与孩子共度一段宝贵的时光。
我们与MBC的制片人金钟佑（Jong-woo Kim）和Vive Studios（提供VR、AR、VFX和电影制作技术的创新故事讲述企业）讨论了这个项目，了解它如何为VR开辟了在典型娱乐用途之外的新机遇和新方向。
将VR与纪录片相结合是一个非常新奇的点子。是什么启发了你们制作《遇见你》？
MBC制片人金钟佑：我在策划一个新节目的时候想到了与逝去的亲人重逢的主题。我在一定程度上是受到了一款电子游戏引擎创作的极其逼真的CG渲染启发。CG影像栩栩如生，但又是超自然的，这似乎和我们项目的主题不谋而合。
我们决定用VR形式进行开发，这是因为线性的CG镜头无论质量多高，也和观看现有的视频没什么区别。VR让参与者能够与对方互动，可以带来完全不同的体验。因此我们相信，它能够给人造成实际与他人“相见”的印象。我们还必须选择做成VR还是AR，最终因为VR的沉浸性而选择了它。
Vive Studios：当电视台带着他们的项目找到我们时，我们认为这是一个机会，能让我们超越迄今为止【通常】仅作为娱乐形式的VR技术。这个项目将让我们创作一些能让普通大众产生情感共鸣的作品。我们的技术确实能够抚慰观看者，这一事实就足以说服我们参与这个项目，无须考虑收入之类的其他因素。它也让我们能够在被打上深深娱乐烙印的VR领域进一步开拓新疆域。
制作过程中最有挑战性的部分是什么？
金：一开始，我们对于自己的作品缺乏信心，担心仅仅靠一场娱乐性的试验不能让人感觉真实。另一个很有挑战性的方面是，我们也无法确定是否有哪个家庭具备足够的勇气来参与它。
在项目进展到一定程度后，我们又遇到了技术的限制。例如，在角色四处移动的同时实现无拘无束的面部表情要比我们想象的更难，而且利用深度学习创造一种嗓音也是个艰巨的任务。在这款VR体验完成前，我们遇到了许多困难，但事后想来，最难的方面还是通过技术手段还原“娜妍”这个人物的独特个性。
我们对于如何安排母女相见和相关场地也花了很多心思。和电影不同的是，我们特别注意不掺杂任何电影工作者的意图。我们的团队获得了参与家庭的信任，目标就是完全依靠该家庭的记忆来创造这个体验，哪怕这意味着降低情感冲击力。通过这种做法，我们也让这家人敞开了心扉。
但是几次初步试验让我们意识到，必须采用极其谨慎的做法。我们发现很难让一个痛失爱女的母亲保持冷静、在陌生的虚拟环境里运用合理的思考承担各种任务。而且我们知道只有一次拍摄机会，这让我们感到了巨大的压力。换句话说，拍摄母女重逢的动人瞬间是不可能重来的。
为了创作“专为一个人定制的VR体验”，你们最关注的方面是什么？
金：专为一个人定制的VR体验要求我们分析只有那个人知道的亲密回忆。我们根据娜妍母亲的回忆，重点分析和再现了她的整体形象、行为和面部表情。虽然技术能力和时间的欠缺使我们很难逼真地表现出所有细节，但我们已经尽量根据回忆创造了一个数字人物，只不过是在我们力所能及的范围内。
制作过程是怎样的？
金：重要的是让这个母亲产生她走进了自己的回忆的印象。娜妍的形象在很多方面都是根据这个母亲的回忆来的，背景是根据这位母亲记得自己带娜妍去过的公园创造的。整个故事的重点就是表现出娜妍在她的回忆里和天国中都生活得很好，因此尽管这个体验是人造的，我们仍然能安慰这位母亲。
从技术角度讲，我们希望随着故事的展开，通过混用时间暂停和交互来给人造成真正与他人共度了一段时间的印象。这方面的重点就是所有VR影片制作者都会花很多心思的交互性。随着技术继续进步，将来可以实现比现在多得多的交互和开放式故事。
Vive Studios：在制作过程中，我们考虑到前面提到的困难，设定了三个不同的标准。
我们尽力避免可能会干扰这位母亲情绪的因素。因此我们去除了语音识别和使用AI实现角色反应等自动化功能，虽然在策划的早期我们考虑过这些东西，但它们有一定的失败几率，可能不会产生我们想要的结果。我们使用动作捕捉创作出一组巨细无遗地表现娜妍的日常行为的动画剪辑，并根据情境应用它们。在不同动画流程之间，我们插入了闲置循环，这样我们就能根据娜妍母亲的状况在情境中调整闲置和推进剧情的时机。
我们还添加了简单的互动来替代复杂互动，例如吹蜡烛，以及娜妍在头发被抚摸时的自然反应。在这里，目光接触是关键。我们使用了目标偏移，使娜妍在做出一套动作时会与自然地与母亲进行目光接触。
第二个关键点是配置设备和优化程序，从而为娜妍的母亲提供自然的VR体验。为了达到电视台关于图像质量和性能的放送标准，我们选择了高端PC支持的HMD设备，但是实现高渲染性能并非易事。必须在广大的空间中渲染出青草等环境道具，娜妍的皮肤、头发、衣物和整体外观都必须在近看时也显得栩栩如生，同时还必须保持轻量化。为了实现这个目标，我们不断优化建模和虚幻引擎材质设置，并积极利用了上采样功能。
对于HMD设备，我们使用了一种无线VR模块，让这位母亲可以在VR空间中不受约束地移动，还使用了特制的手套，让她在拥抱娜妍时能感到温暖。我们还在虚幻引擎中程控一台外部风扇，通过控制它来提供凉风习习的户外环境体验。
最后，我们提供了各种视角，让这位母亲的体验能够有效地直接传达给观众。从母亲视角镜像的VR镜头并不适合用于纪录片，因为摇晃得太厉害，而且分辨率太低，很容易引发晕动病。我们使用虚幻引擎支持的Zero Density解决方案解决了这个问题，它让我们能够同时显示这位母亲的第三人称视角镜头，并且带有CG背景，作为最终播放的镜头。
你们为什么会选择用虚幻引擎制作《遇见你》？
Vive Studios：地面广播限制了制作时间和预算。为了快速制作高质量的交互图像，我们判断虚幻引擎是很好的选择。
我们有使用虚幻引擎的经验，因此我们了解虚幻引擎创建精细实时图形的能力，也了解高度直观的着色器和逻辑等功能。我们选择虚幻引擎的另一个原因是，可以使用Epic Games提供的免费资源或虚幻商城中的资源来缩短制作时间。
在制作中虚幻引擎被用在哪些地方？
Vive Studios：Quixel的Megascans库非常有用，我们利用它在大片空间中放置了各种环境道具，为智星提供可信的VR体验。
在将孩子还原为数字人物时，我们发现要制作出像照片一样逼真的皮肤纹理和皱纹很困难，因为做出来的都太光滑了。我们用虚幻引擎关于数字人类的文档作为参考，在其帮助下处理了次表面轮廓以实现光线透过皮肤的散射，并编写了着色器以创建微小的毛孔细节。
我们使用动画蓝图和目标偏移等功能设计娜妍的动作，实现了动画动作和与智星的实时目光接触的自然混合。我们还使用虚幻引擎控制外部设备，例如用来模拟风的风扇和模拟体温的专用设备。
从这个项目中你们学到了什么？
金：在纪录片播出后，又有许多家庭给我们发来了他们的故事，表达了他们与已故亲人见面的愿望。他们的积极反响令我们非常感激，但也让我们陷入了沉思。我们感觉这个项目要比我们想象的难得多，规模也要大得多。虽然我们还不能确定是不是要把这做成一个经常化的节目，但我们已经证明了利用科技讲述引人入胜的故事的可能。如果我们要做一个类似的项目，会把它再提升一个档次。
Vive Studios：在《遇见你》播出后，路透社和BBC等跨国新闻机构纷纷报道这个项目，大家的兴趣和反响非常强烈，超出了我们的期待。许多人很同情娜妍的母亲，但是他们对科技的应用范围和道德标准意见不一。
我们不但发现了尖端科技与人类情感交汇时的影响有多大，也明白了我们必须非常审慎地处理此类敏感主题。这样先进的技术在不久的将来就会成为常态，看来现在就应该发起关于如何管理和区分真实生活与虚拟现实的公开讨论。
你们对未来有什么期待？下一步的目标是什么？
Vive Studios：Vive Studios将会通过对科技前沿的各种试验和测试，更多地关注人文主义体验的技术重现。为了实现这个目标，我们将继续使用虚幻引擎进行数字人类的研发。我们还计划开发实时虚拟制片流程，以便利用虚拟现实技术制作电影和电视连续剧。