August 29, 2018

虚幻引擎助力Kite & Lightning在Real-Time Live!上呈现精彩表演

作者 Dana Cowley

在今年的SIGGRAPH现场演示策展 Real-Time Live!上,来自洛杉矶的Kite & Lightning抢尽风头,在众多令人印象深刻的入围作品中,以“平民化动作捕捉:使用iPhone X、Xsens、IKINEMA和虚幻引擎实现实时顶级性能动作捕捉”赢得大奖。

曾赢得最佳实时图形和互动奖的《Bebylon》在现场进行了演示,充分展示了表现力超强的实时渲染CG角色,证明了组合精巧的现成技术能如何提升游戏场的创意水平,制作出令人惊讶的成果。

(本视频转载自YouTube:视频原址

虽然Kite & Lightning依然只有四位成员,但从2012年白手起家开始,一路走到了现如今。“我的朋友Ikrima Elhassan曾用增强现实制作了一个跳舞熊在他的iPad上运行,从此就埋下了K&L的种子。”Cory Strassburger说道,他后来与Ikrima一起共同创立了Kite & Lightning。“那是我第一次看到AR,当时那股兴奋劲儿充斥着我整个大脑。”

这对兄弟开始一起制作AR,并于2013年初成立了Kite & Lightning,向LA的所有电影工作室推销AR,而在当时,AR几乎无人知晓。有一天,Ikrima带着刚从众筹平台Kickstarter上拿到的Oculus DK1来到办公室。这是团队的转折点:“还不到20分钟,我们就放弃了AR,转向VR!”Cory笑道。

在创造了一些早期的试验性VR作品之后,他们开始从事一些正式工作,包括NBC的《美国之声》和狮门影业的电影《分歧者》《Shatter Reality》,之后,该团队开始开发现在的这个项目,一个团队乱斗类的VR游戏,名为《Bebylon Battle Royale》。

Real-Time Live!演示的灵感正是源于《Bebylon》。“我当时急需寻找一种方法,为游戏的永生Beby角色注入生命力,而面部捕捉是一大难题。”Cory解释道,“我知道Apple收购了一家名为Faceshift的公司,这家公司在当时已经在台式电脑上实现了面部捕捉平民化,所以我很好奇,他们有多少技术浓缩到了iPhoneX和ARKit当中。我起初的一些测试表明,他们成功地将面部捕捉技术的整个核心微缩到了iPhoneX中,这真的是太让人激动了。”
blog_body_img1.jpg
在这方面进行深入研究成了Cory每个周日唯一的项目,因为公司在工作日都在忙着游戏开发工作。Kite & Lightning已经购买了用来处理肢体捕捉的Xsens MVN套装,还有iPhone X和“45美元买来的极不舒服的彩弹游戏头盔”。Cory准备好一切之后,最终报名参加了Real-Time Live!竞赛。

但还差一个至关重要的要素:“报名时提交的是一组非实时测试结果,我改进了面部捕捉,并使用Xsens套装增加了肢体捕捉,然后用Maya组装起来,在线下渲染而成。”Cory说道,“直到我们的报名被Real-Time Live!接受之后,才开始用虚幻引擎进行实时演示。”
blog_body_img2.jpg
Cory一直想在虚幻中实现动作捕捉,而被Real-Time Live!选中加速了这个过程。他非常感谢Xsens的Chris Adamson,正是在他的鼓励下,他才决定报名参赛的:“我很感激他鼓励我参赛,因为结果比我最初的设想更让人激动,而且还为我们节省了大量时间(实时效果非常好)!”

完成最后一项工作的是虚幻引擎的一个插件。IKINEMA LiveAction从Xsens套装捕捉流送肢体数据,然后重新投射到Beby角色身上,同时防止脚滑和肢体间相互嵌入重叠。“这确实是让肢体数据与角色和虚拟环境协调一致的关键所在,平时要通过后处理完成的工作现在可以实时进行了。”Cory热情洋溢地说道。

托管该插件只是虚幻引擎在该项目中发挥的众多作用之一,而最为显而易见的是摄取所有实时捕捉数据并实时地完美渲染出来。

“现在回想觉得很有意思,其实真正辛勤工作的是Epic,而我只是把它插上去了而已。”Cory沉思道,“比如,他们将LiveLink技术与ARKit集成,这让iPhone X数据流送到引擎就像输入IP地址一样简单。由于他们发布了《Face AR》示例项目(其中包含大量节省时间的宝贵工作成果,例如面部校准、数据平整等),我只需要把他们的男性角色Kite与我的角色Beby调换一下就可以了,然后使用内含的场景构建iOS应用,就这样,iPhone X就完美地将数据流送起来了。”
blog_body_img3.jpg
Cory还下载了Epic以Mike Seymour为原型的最新数字人类《Meet Mike》示例项目。“我沿用了其中的皮肤着色器、眼球和非常酷的光线装置,这样一下子就可以实时渲染出一些非常好看的Beby角色了。”他说道。

而虚幻引擎的好处还远不止于此。“在我看来,我对在虚幻中进行这些设置感到最激动的是能够使用Sequence Recorder,一键式录制整个表演和声音。”Cory说道,“捕捉表演并立即投射到游戏当中真的是不能更容易了!”

有了这样的新管道,Kite & Lightning对未来又有怎样的计划呢?“我们打算利用这种设置为大家来带更多欢乐,我很期待看到真正的表演者如何运用这种装置将Bebylonian角色演活。”Cory兴奋地说道,“我们还打算在Twitch上利用这种虚拟制作想法来直播Beby角色,接受观众的考验,可能还会结合着AR,这样我们就可以在圣莫尼卡的办公室进行直播了。”

但在Cory看来,无限可能性或许更具吸引力。“我能预见到这种技术组合带来的无限机遇,不仅仅是让游戏或拍摄角色变得有生命力,而是以虚拟方式流送真实人物表演和虚拟制作。”他解释道。

“现在,将多个表演者的数据流送到虚幻引擎实在太容易了,然后你就可以捕捉这些数据,也可以直播最终渲染成果。结合多个虚拟电影摄影师和炫酷的虚拟场景,在家就可以像詹姆斯·卡梅隆和Weta为制作《阿凡达》一样自制虚拟制作装置。这让人感到超级激动,因为这种技术变得越来越简单,你不必再与很多人争论如何操作,意味着你可以将更多精力用来制作出色的内容,却没有紧迫的时间压力!”

Cory仍在回味赢得Real-Time Live!大奖的欣喜,虽然最初他并没有什么信心。“坦白讲,我对自己能得奖还是觉得有点震惊……直到我走下舞台,一系列活动都结束了,我才意识到这是切切实实的奖项,而不仅仅是一个荣誉奖!这次展示上有一些令人惊讶的实时项目,所以我们能获奖真是莫大的荣幸。”他说道。

“我真的很想与大家击掌庆贺,让他们知道我多么感激与我日夜工作在一起、鼓舞人心的K&L同事们,还有Xsens、IKINEMA和Epic那些尽心尽力帮助我的同行们,尤其是Epic对待工作和社区的理念和方法,让我们深受启发。能够得到这么多卓越人才的悉心帮助真是太棒了!”

想要创建能够获奖的实时体验吗?立即下载并探索虚幻引擎4.20吧