July 30, 2018

虚幻引擎助力“少年忍者神龟:VR采访体验”亮相2018圣地亚哥国际动漫展

作者 Daniel Kayser

尼克国际儿童频道(Nickelodeon)在2018圣地亚哥国际动漫展上展示了“少年忍者神龟:崛起VR采访体验”,观众可以进入少年忍者神龟的世界,与《少年忍者神龟:崛起》的幕后演员在虚拟世界中来上一次面对面的采访。这种独一无二的采访允许观众与米开朗基罗或多纳泰罗面对面对话——分别由系列声优Brandon Mychal Smith和Josh Brener担任现场配音。我们就活动幕后采访了尼克国际儿童频道娱乐实验室高级副总裁Chris Young。

rtmnt_img7.jpg

是什么促使你在国际动漫展上将VR作为《少年忍者神龟:崛起》(TMNT)新闻发布会的展示媒介呢?

这个想法最早源于我们在拉斯维加斯美国国家广播电视协会(NAB)大会上与Epic Games、Adobe和NewTek的一次会谈。我们设计了一种管道,通过借助NewTek的NDI技术将Adobe Character Animator的数据流送至虚幻引擎4,并且打算用游戏引擎制作实时动画,而VR技术则是近距离体验的最好方法。  
你是如何设计在VR中与米开朗基罗和多纳特罗实现双向实时对话的呢?
 
我们围绕实时人偶动画展开了许多探索,学习如何将全身和面部动作捕捉数据流送至虚幻引擎。而当忍者神龟这个机会出现时,让记者在实时体验中与我们的角色对话看起来是一种很有创意的想法。
 
实施体验是否借助了动作捕捉技术?
 
考虑到《少年忍者神龟:崛起》这部重启动画中的人物全都采用了2D的设计风格,我们采用了Adobe的Character Animator工具来处理动画效果,这允许我们在创作时所使用的模型以及艺术指导角色的骨骼能够使用动画片中的动作设定和动画循环。我们有一个大型动作捕捉场地,允许我们开展好几个项目,全都使用更加传统的表演捕捉技术,并且通过管线将数据流送至虚幻引擎4。

rtmnt_image01.jpg

请描述一下从初始CG/环境资源创建,到采访最终制作完成的工作流程(硬件、软件、头戴设备、动作捕捉)。
 
虚拟现实体验是通过虚幻引擎得以实现的。游戏引擎能够让此类体验具备实时交互和对话功能。米开朗基罗和多纳泰罗在体验中所呈现的人偶动画全都是通过NewTek的NDI技术流送至引擎的。NDI允许大容量视频文件通过共享网络进行传送。米开朗基罗和多纳泰罗这两个人偶不仅是用Adobe Character Animator制作完成的,而且也是通过它实现实时真人驱动动画。这两位动画人物的各种肢体动作都是通过事先配对过动画循环的MIDI键盘来触发的。这些MIDI键盘会在采访期间实时触发人偶动画。NDI允许将Adobe Character Animator中的人偶动画流送到其它各类设备中,帮助它们拾取这些实时动画数据以便应用于各类合成和体验。

rtmnt_img10.jpg
尼克国际儿童频道“少年忍者神龟:崛起VR采访体验”中的米开朗基罗和多纳特罗。
 
当体验者站在绿幕前的时候,他们会被合成到一个以纽约高楼屋顶为背景的虚拟场景中,并且会使用一个尼克国际儿童频道的角色作为头像。为了让VR查看器保持高性能并且创建高质量的输出效果,合成还会借由网络观众版本的体验来完成。这个观众版本会将前景层和后景层分开,并交由NDI进行拾取。然后这些图层会在Resolume中显示,并且与实时动态图像进行合成。最后的合成图像会通过NDI导出Resolume。
 
实时动态图像的最终合成、VR玩家的POV、以及两位忍者神龟的特写镜头和广角镜头全都用TriCaster进行录制。TriCaster允许你在采访期间进行实时编辑,采访完成后只需一个拇指驱动器就能将ISO录制和最终节目编辑交给记者。
 
我们将2D平面作为背景层元素,将CG模型应用于前景层,并且通过将这两种方式组合确保VR体验者获得正确的透视效果。为了让原有的2D外观能够在3D空间中原汁原味呈现,我们在工作流中将Maya中的变形网格体导入进了UE4,反复推拉变形,直到我们觉得捕捉到的透视效果符合手绘场景的风格。在Maya中,我们从VR玩家的POV向背景几何体投射平面,并且使用制作动画片时使用过的Photoshop笔刷将纹理绘制在平面UV贴图上。这样就能完美捕捉手绘的背景画风格。
 
这次体验采用的技术与你们当时为Imax Vr中心开发尼克儿童频道体验时所使用的技术有类似之处吗?这次的国际动漫展体验在多大程度上继承了当时的技术?
 
我们将许多用于处理VR Pawn和VoIP的代码以及一些为SlimeZone Vr创建的CG角色资源整合进了这次的忍者神龟体验。
 
你们为什么选择使用虚幻引擎创作这次体验?
 
我们曾多次在虚幻引擎4的帮助下,成功完成了从原型到全功能版本的开发过程。凭借在UE4中创作VR内容时所获得的知识,以及运用蓝图进行思维建模的能力,我们能够实现快速迭代开发,并且全身心专注于高质量内容的开发。

rtmnt_image02.jpg
 
你们使用的是哪个版本的虚幻引擎?是否有一些经常使用的虚幻引擎功能?
 
我们使用的是4.19版本。考虑到我们的开发项目带有一定实验性质,并且开发周期十分短暂,所以我们大胆地将引擎升级到了最新版本。我们在将视频数据流送至UE4中的材质时,很大程度上依赖了NewTek NDI插件的透明通道支持功能。
 
在为国际动漫展准备VR采访项目时,是否邀请到了动画剧中的动画师一起参与合作?
 
我们与设计师以及动画团队展开了紧密合作,一起将动画剧中的人物外观和动画风格融入VR体验。将2D风格转化为VR需要花费大量精力。
  
在圆满完成任务之前,你们遇到过的最大挑战是什么?
 
现场环节,以及同步音频、视频和游戏资源,还需要用到一整套设备来相互收发数据。所有设备都要从我们位于伯班克的工作室运往国际动漫展,并且还要现场搭建,这些都需要大量的提前准备。
 
在设计这样一种需要实时动态更新的VR体验时,会有哪些不同的制作考量?
 
这个过程融合了动画、游戏开发、真人表演、人偶动画、虚拟电影摄影技术、直播状态下进行现场拍摄。一切都需要融为一体,这是我们之前从未有过的经历!