2016年12月30日

MTV Choreographika 利用虚幻引擎 4 “舞出”社交情感

作者 Daniel Kayser

你是否曾经想过,如果社交情感有形态,它会是什么样子?对很多人来说,社交互动的起伏就像一支古怪的舞蹈,因为用户会根据全球对话中流露出的强度各异的独特观点实时地采取行动和做出反应。

最近一群艺术家和技术人员将这个概念变成了现实,他们接受委托,把关于一项特定活动的社交情感用有形的方式表现了出来。

《MTV CHOREOGRAPHIKA:幕后花絮》由 Silent Studios 出品,发布于 Vimeo

《Choreographika》便是最后的成果——这个项目取材于有关 #MTVEMA 的社交对话,并将其转换成释意的数字舞蹈和交互式艺术作品。它可以将 Twitter 上的关键字、艺术家提及和情感文字实时地转译成视觉和运动。

为了了解更多,我们采访了 Silent、No Ghost 和 Friends Electric——这几个团队合作参与了《Choreographika》这部艺术作品的制作。

问:《Choreographika》最初的概念是怎么来的?

Nathan Prince(Silent 的创意总监):当时有家名为 Sunshine X 的代理公司正在策划一次鹿特丹 MTV 会展,预定在 MTV EMA 的周末开放。他们找过 10 家艺术团队,其中就包括 Silent,并希望委托他们制作装置/展览艺术品。

我们的主要任务是观察大量有关 MTV EMA 的在线 Twitter 对话并把其中的情绪和兴奋转变成展品。我们的表现形式可以是从雕塑到声音装置的任何东西,我们也可以自由地尝试更加先进和雄心勃勃的手段。

虽然创作的空间很大,但我们知道这里有实时性的要求——我们必须对疯狂的推文世界做出动态的反应——而且我们都想让这些对话影响现实的物质世界。

于是这变成了一个数据可视化的项目,但这项任务也让我们有机会观察全球范围内的人类情感。由于我们关注的是人类的情感特质,所以我们觉得舞蹈是最富有表现力且最激动人心的方式。舞蹈能够超越国界、年龄、信仰和文化,是一门全球通用的语言。于是想法就此诞生——我们将用舞蹈人物来诠释有关 #MTVEMA 的对话和粉丝的情感,并将它们实时、动态地反映出来,无论是话题标签的比率、情感关键词和情感文字,还是对艺术家的提及。

blogAssets%2F2016%2FDecember2016%2FDEC30_Choreographika%2FChoreografika_Pic1-770x322-a1c0a459ea6d96f4a97bc00076cc92248f25b992

问:开发这个项目的团队有多大?你们在这个项目上花了多长时间?

Tom Flavelle(No Ghost 的设计师):我们的制作阵容包括下面这些艺术家和技术人员:

  • Silent(创意指导和音频控制):Nathan Prince、Liam Paton、Andy Theakstone 和 Sarah Kelly/Lucy Ridley(舞蹈家/舞蹈编导)
  • Friends Electric(制作):Alex Webster、Dom Thompson-Talbot 和 Orlaith Turner
  • No Ghost(开发):Tom Flavelle、Jack Straw、Lawrence Bennett 和 Luke Gibbard

整个项目从构思到交付一共花了五个星期,包括设计、原创音乐、动作捕捉和开发。

问:在实现项目目标的过程中你们面临的最大挑战是什么?

Jack Straw(No Ghost 的开发人员):由于项目的交付期限紧迫,制作过程的所有元素都必须并行处理。如果我们还是按老套路使用预渲染循环,这根本做不到。但是因为它是实时的,我们可以迅速地整合更新的元素。实时数据使用的“不可知”性也是一个挑战。例如,在我们的数据中,贾斯汀·比伯是出乎意料的问题源,因为他被提及的次数要比其他任何艺术家高出 10 倍!这意味着舞蹈者会不停地跳比伯舞,因此我们必须让他收敛一点。

blogAssets%2F2016%2FDecember2016%2FDEC30_Choreographika%2FChoreografika_Pic2-770x731-6efb2efba6f2b647cc3b102f2a998d824f0142be

问:为什么你选择用虚幻引擎 4 开发这个项目?

Tom Flavelle:对于这个项目来说,虚幻引擎是不二之选。该项目要显示在 9x42” 的 LED 屏幕墙上,所以需要以尽可能高的分辨率输出,以保持近距离观看时的视觉清晰度。最后我们使用了运行速度为每秒 60 帧、分辨率为 4K 的装置。我们都拥有电影和动画制作的背景,所以知道高质量照明的重要性。

收集到 Twitter 上的实时度量数据后,我们要把它流式传输到引擎本身,在此过程中,内含的 C++ API 起到了相当大的作用。

我们曾经使用动作捕捉技术驱动虚幻引擎中的角色,所以在考虑如何基于 Twitter 提及比率实时整合不同强度的舞蹈时,这方面的经验也帮助我们做出更明智的选择。

问:在整个制作过程中,你发现过虚幻引擎 4 某些特别有用的方面吗?

Tom Flavelle:虚幻引擎的新 Sequencer 是个功能强大的工具,它让我在很短的时间内就可以设置一大堆的摄像机以生成动画。通常我们会在 3D 软件包中创建摄像机,然后将它们导入进来,但虚幻引擎提供了所有现成的摄像机导轨,所需的控件都在引擎里。能够逐个镜头评估和调整所有的后处理 FX 对最后的视觉润色是非常有用的。

blogAssets%2F2016%2FDecember2016%2FDEC30_Choreographika%2FChoreografika_Pic3-770x315-061ed5665ed8b3b0e969bd7cef436d872d9d176a

问:Choreographika 的开发有没有给你们带来其它数据可视化的灵感——无论是社交的或是其它类型的?

Nathan Prince:有!我喜欢用数据讲故事的想法。相比于疯狂的推文世界和社交网络,我觉得我们普遍渴望意义和一种更深的联系。如果我们可以驾驭这个世界,让它以其他更有意义的方式展现,那将会十分鼓舞人心和发人深省。

Tom Flavelle:当“Twitch plays Pokemon”现象发生的时候,我们便开始思考如何让公众以互动的方式参与进来。这个想法一直存留在我们的脑海里,因此我们想要在这个领域做更多的项目。在数据可视化方面,虚幻引擎有巨大的的潜力可以挖掘。希望在将来我们能够探索更多的全球观众互动的可能性。

问:大家可以在哪里了解更多关于这部作品的信息?

Nathan Prince:如果想进一步了解与这个项目相关的团队,可以访问 We Are SilentNo GhostFriends Electric 的官方网站。