一流のコンテンツ クリエイターに仮想現実の将来に関して何が一番ワクワクするか尋ねてみてください。彼らは答えられないかもしれません。VR でエキサイティングなものがないから答えられないのではありません。VR が実現する没入感のレベルは、ゲームプレイ、ストーリーテリングなどの面で比類なき可能性を示しているからです。しかし、デザイナーやアーティストは仮想現実の未知の部分にこそ心が引き付けられるのです。結局、今は我々が夢見る VR の世界に技術が追いつき始めているところです。
多くのコンテンツ クリエイターにとっては、現在自分たちが行っていることを VR というメディアにどのように移行するかということではなく、VR が我々が行っているやり方をどのように変えていくかということです。仮想現実はゲームプレイをどのように変えるのでしょうか？ 仮想現実はマルチプレイヤーにどのように影響を及ぼすでしょうか？ VR はどのように物語を伝え、かつてないレベルの没入感を実現するでしょうか？
まさに最後の問いが、Giant の制作チームを突き動かし、ストーリー テリングを全く新たな高みに引き上げるプロジェクトを追求することにつながったのです。名もなき戦闘地帯のある家の地下室を舞台にした 『Giant』 では、観客は厳しい現実に目を向けたり、仮想でその世界を感じたりするとこができます。近くで建物が爆撃されて、命が脅かされる中、夫婦が娘を励ましています。映像としてはこの家族への共感を誘うものですが、UE4 で制作されたこの VR は、非常にパーソナルな体験になり感情的に揺さぶられます。
2016 年の GDC で実際に体験してからというもの、私はこのプロジェクトについて、制作チームやその目標についてもっと知りたくなりました。こうした背景から、この影響力のあるプロジェクトがどのように作られたか、さらに VR のストーリーテリングの将来をどのように形作っていくかについて以下の皆様からお話を伺いました。Director , Co-Creator である Milica Zec 氏、 Producer, Co-Creator である Winslow Turner Porter III 氏、Lead Technical Artist である Jack Caron 氏、 Director of Creative Technology である Todd Bryant 氏、そして Technical Producer, Depth Pipeline Designer である Juan Salvo 氏の皆様、お忙しい中ありがとうございます。
まだ体験していない人々向けに、『Giant』 がどんな作品であるかご説明いただけますか？
Milica Zec 氏: 『Giant』 はシネマティック仮想現実体験で、2016 年のサンダンス映画祭のニューフロンティア部門で公開されました。名もなき戦闘地帯のその場しのぎのシェルターで爆撃から逃れる家族の物語です。幼い娘を現実の恐怖から守るために、両親はファンタジーの物語を作り出します。爆発音は物語の中では、人懐こい巨人が少女と遊ぶために近づく足音であるという設定です。両親の物語は爆撃が近づくにつれて盛り上がっていきます。
『Giant』 のビジョンに息を吹き込むために、どのようなクリエイティブな要素や技術的要素を加えましたか？
Winslow Turner Porter III 氏: 『Giant』 のストーリーを可能な限り没入感があり感動的なものにするために、ゲーム エンジン内でリアルな人間の感情を持つリアルな人間の演者を使うことが何よりも重要でした。何としても中途半端にリアルで気味悪いものになることは避けたかったのです。ライブ アクション映像は、緑のスクリーンのステージ上で DP Alex Corn が撮影しました。演者が動き回るスペースは、約 2.4 m x 0.9 m です。リアルタイムで映像をシームレスに 3D 環境とミックスするのは大きな課題でした。制作にとりかかった 2015 年 9 月時点ではすぐに使えるソリューションはなかったからです。多くのボリュメトリック ビデオ キャプチャー システムを試してみましたが、エッジのギザギザやオクルージョンなどの問題がありました。物語は紛争地帯で必死に生き抜こうとする家族を中心に展開します。そのため、密接にインタラクションすることが多い複数の演者を同時に扱うことができるソリューションを必要としていました。結局、Kinect 2 を実装する Simile の Depthkit に決めました。非常に効果的で予算的にも見合うキャプチャーの選択肢だったからです。Alex Corn が撮影した Red Dragon 5k の映像ショットを Depthkit と合わせると、固定視点からの非常にパワフルな映像になります。カメラから直接見ることができる立体的なデータになるからです。観客には近づいてくる爆撃をエミュレーションする椅子に座ってほしかったため、『Giant』 ではこれはとてもうまく機能しました。
スクリプトを記述する際には従来の短編映画ではなく、一幕劇のようなものを考えることが非常に重要です。従来の 16x9 のメディアで使われた観客が見慣れたカットはありません。カメラが固定されて地下室のもう一方の側でコミュニケーションしている家族に向けられています。演者とアンリアル エンジンで色々試すことで、あらゆる要素に何とか対処することができました。そうした要素を物語に加えてリアルさを保ちながら生き生きとしたものにしました。特に活用したコツは、爆撃によって照明が消えるたびに演者の映像アセットをスワップアウトすることです。 VR の他の映像制作者に対するアドバイスとしては、できる限り色々試してリスクを取るということです。VR は新しいルールが作られたかと思うと次の日にはそれが破棄されるような非常に新しいメディアだからです。
『Giant』ではライブの演者を使うことをずっと想定していましたか？ それとも、物語を語るうえで別の手段を考えたことがありますか？
Milica Zec 氏: 当初、『Giant』は従来の短編映画を想定していました。しかし、映画の意図を詳細に検討した結果、VR というメディアを通して伝えるのがよいと思ったのです。危機に直面する家族の立場に観客が入り込むことで、数多くの罪なき家族が現在地球上で感じている恐怖や苦しみを直接目の当たりにし、体験することができます。紛争地帯にいるという感覚を、そうしたトラウマを一度も経験したことのない人々に伝えたいと考えました。現在、苦しんでいる人々に親近感を抱かせ、何らかの策が講じられる可能性を高めたいと思ったのです。犠牲者を描写するにあたり、英語を話し、見た目が欧米人の演者、Jordana Rose、 Zoë Winters、Clem McIntosh を意図的に選びました。欧米の観客が登場人物に親近感を感じられるようにするためです。
プロジェクトに関わったチームの規模は？
Winslow Turner Porter III 氏: プロジェクトの制作開始前のメンバーは、Milica、 Lizzie Donahue (スクリプト ライター)、そして私だけでした。ニューヨーク市の New Museum によるインキュベータ、NEW INC に関わり始めると、才能があり技術にも精通したアーティストが必要になりました。VR でのストーリーテリングだけでなくパイプラインの限界を押し広げることに関心がある人です。我々のタイムラインは11 月末に最終決定するサンダンスのニューフロンティア部門のスケジュールに基づいていました。その期間、共同製作者である Virtualize とパートナー契約し、チームは 40 名を超える規模に急成長しました。ライブ アクションとアンリアル エンジンを合わせるため、実質的には 2 倍の人々を必要としていました。我々にとって『Giant』 のサウンド デザインもビジュアル面と同じくらい重要なものでした。Milica 同様、爆撃中にセルビアに住んでいた才能あふれるセルビア人のサウンド デザイナー、Aleksandar Proti と仕事をできたのは幸運でした。サウンドが圧倒的にリアルなものになりました。
Framestore や Hello World Communications といった素晴らしい制作パートナーや、HP、NVidia、Comcast Ventures、および Microsoft のようなスポンサーに恵まれたことも非常にラッキーなことでした。サンダンス映画祭での公開以来、我々はさらに成長しました。Technicolor と Scott Gershin とパートナーを組んで、サウンド ミックスを完成させました。これにより、様々なプラットフォームで配布を始める前に最終的な仕上げをすることができました。
『Giant』 制作のきっかけとなった映画やゲーム体験はありますか？
Milica Zec 氏: 『Giant』 制作前に、長いこと VR の世界に関心を持っていました。私にとって特に印象的な作品は、Chris Milk が制作した "Evolution of Verse" です。感動しただけでなく、VR メディアがもたらす可能性や影響を感じたのです。
Winslow Turner Porter III 氏: 若い頃にEpcot Center で VR を体験しました。まだ完成度が低く気分が悪くなりましたが、素晴らしい可能性の虜になりました。話は昨年になりますが、Vrse が制作した 360 度の映像コンテンツは、没入感のある環境でのストーリーテリングを理解するうえで非常に影響力のあるものでした。『The Last of Us』 はビデオ ゲームの物語にどれくらい感情的つながりを持つことができるかを実証してくれました。私たちは映像と感情面の両方の強さを兼ね備えたものを求めていました。
Jack Caron 氏: 背景の作業では、ライブ映像の演技に匹敵する高いリアリズムが得られるよう取り組みました。そのため、 『The Vanishing of Ethan Carter』 のようなゲームで使われているフォトグラメトリ技術にも目を向けました。ライティングと雰囲気の観点では、地下室の設定で 『Take Shelter』 をかなり参考にさせてもらいました。インスピレーションを感じるドラマティックなホラー映画の地下室のシーンは山のようにありますが、できる限りそこに住んでいるかのような感覚が得られるように取り組みました。
Todd Bryant 氏: 私は映画製作をバックグラウンドとしてゲーム エンジンを使い始めました。5 年間、仕事でゲーム エンジンを使ってきましたが、普通のゲームを作った経験はありません。 私は、Passage、 The Graveyard、Journey といった個人的つながりや人間のありようを考える作品やプレイヤーの感情を揺さぶる精巧に作りあげられた美しさに大きな影響を受けました。
『Giant』の創造的な面は、幼少時の個人的体験の影響が大きいですよね、Milica。ビジュアル面での没入感は明らかなものですが、それ以外に VR には観客が内容に馴染みがあるかないかに関わらずその状況につながりを持たせる全く新しい豊かな機能があるでしょうか？
Milica Zec 氏: 『Giant』 はベルグラード爆撃中のセルビアで育った私の体験に沿って作られた物語です。自分の家族の体験を、『Giant』 のスクリプトライターである Lizzie Donahue に話しました。Lizzie は紛争地帯に暮らす米国人の家族の物語を書きました。米国人にしたのは欧米の観客が身近に感じられるようにするためです。家族の外見、話し方、装いが自分たちに似ていれば、危険にさらされる家族に観客は親近感がわくだろうという理由からこうした設定にしました。同じような困難な状況にある人々に対する思いやりや理解が深まればいいなと思います。
シネマティック体験として 『Giant』 は、VR を利用して没入感を高めて新たな高みに到達しました。こうしたことを念頭に、今後 VR はストーリーテリングにどのような影響を与えるとお考えですか？
Jack Caron 氏: 『Giant』は VR シアターのようなものとお考えください。演者が私たちの目の前で芝居を演じているが、そこには 4 つの壁があり、観客は同じ空間に存在するのです。他では真似できない (セミインタラクティブ シアターは例外かもしれませんが) 観客と映像との間で隔てのない感情的なつながりが生まれます。これこそ VR の威力です。こうした体験を創り出すうえで、タイミングとキューは、従来の映画の線形フローではなく自分自身のゲーム ブック (読者の選択によってストーリーの展開と結末が変わるように作られている) を選ぶのに似ています。ストーリーテリングではそれを考える必要があります。
『Giant』のような長いフォーマットの VR 体験は、ストーリーテリングにおける次のステップだとお考えですか？ 長いフォーマットのシネマティック VR を作るうえで、どのような制約に対処する必要がありますか？
Jack Caron 氏: ストーリーテリングで重要な部分は、観客 (読者) を物語の世界に惹きつけることであり、VR はこの点で優れています。これは従来のストーリーテリングに取って代わるものになるでしょうか？ たぶん、そうはならないと思います。しかし、VR の技術やテクニックが確立し、洗練されていくにつれてさらに多くの人々が VR を制作すると、没入感のあるストーリーテリングは次の段階に進むことができるでしょう。いくつかのエピソードから成る長編 VR に関心が集まっているため、物理的な側面と制約に関して課題が生じています。ヘッドセット装着による疲労は現時点で大きな (個人差がありますが) 問題になっています。ハードウェアが一段と軽くなり、換気が重点的な改善点になっているため、VR 体験の長さは伸びていくと思います。
『Giant』のユニークな点は座るということ、マルチパーソン体験になるということです。GDC 2016 では、他の 2 名と一緒に『Giant』を観たので、全員で体験を共有しました。こうしたデザイン上の選択で技術的課題に直面しましたか？ 創造性の面で、『Giant』 を体験する際にこの設定がどうして大切だったのでしょう？
Todd Bryant 氏: 『Giant』は感情に訴えかける VR 体験です。そのため、同じ部屋で他の人々と一緒に観た方がよいと感じたのです。 観客は当然互いの姿を見ることはできませんが、互いの声を聴くことができるオープンイヤのヘッドホンを付けているので口頭でコミュニケーションできます。ですから自分の友人や家族と作品中の家族を心配する感情を共有し、互いに確認できるのです。これにより新たな技術的課題が加わりました。体験を互いに完全に同期させることです。そうしないと他のヘッドホンからの音声が互いに干渉し、振動する椅子から伝わるハプティック (触覚) フィードバックが劇的瞬間を台無しにしてしまうからです。 プライベート ネットワーク上で Open Sound Control を使ってすべての物を実行することでこのハードルを乗り越えることができました。 カスタムの iOS アプリケーションを使ってこの体験をトリガーしリセットしました。このアプリケーションは、ヘッドセットを実行する 3 つの稼働中のコンピューターにコマンドを中継するコンピュータの show コントローラーを制御し、異なる画像をプロジェクタにトリガーします。
観客に豊かな体験を与える以外に、『Giant』のような VR では、どのように世界で起こっている深刻な問題についての認識を高め、前向きな変化をもたらすことを求めますか？
Milica Zec 氏: VR は人々を新たな場所や状況下に連れて行ってくれる強力なツールであり、直接体験することを想像すらしなかったことを体験させてくれます。我々の限界を押し上げ、周囲の世界に対する新たな理解をもたらします。賢く使えば、社会を変える重要かつ効果的な手段に成り得ます。
サンダンス映画祭や GDC などの様々なイベントを通して多様な人々に 『Giant』 を体験してもらいましたよね。様々なクリエイティブな視点を持つ体験者からどのようなフィードバックがありましたか？
Juan Salvo 氏: フィードバックはものすごく沢山あって、非常に価値あるものでした。こうした革新的技術に携わる場合、観客がどのような体験をするかは往々にしてわかりません。サンダンス映画祭ではこの物語に涙する人々がいました。プラットフォームとしての VR は、従来のメディアに比べて没入感が高く感情的に結びつきを感じる可能性を秘めています。我々は没入感や感情を素晴らしいエフェクトと結びつけることができたのです。リアルタイムで反応する観客を観ると、すごく報われた気分になりました。
Todd Bryant 氏: 洞察力に満ちたフィードバックを得た私のお気に入りの体験は、サンダンス映画祭の Filmmaker’s Evening 中に起こりました。『Giant』 はこの映画祭のお楽しみであるニューフロンティア部門に設置されました。毎晩のようにパーティが開かれる場所です。ある晩、サンダンス映画祭に作品を出品した監督向けのパーティーが開かれました。監督の多くはヘッドマウント ディスプレイを装着したことがなく、彼らにとって 『Giant』 が初めての VR 体験となりました、。沢山の方々が我々の作品に夢中になりました。ヘッドセットが実現する没入感によって 6 分間の VR 体験が、監督たちの制作媒体では 1時間 45 分間分に相当するだろうとのことでした。ほとんどの人々がその可能性に舞い上がっていました。
Jack Caron 氏: サンダンスではシネマティック VR という発想は、ブースを訪れた多くの人々にとってとてもワクワクするものでした。体験者は俳優、監督を始め偶然何か新しいものを求めて立ち寄った人まで様々でした。実際の演者を撮影し、ゲーム エンジンに統合したと知ると、興味津々の様子でした。GDC では全く新しい技術的な側面のフィードバックがありました。我々の手法に関してソフトウェア、ハードウェアの両面を含め、多くの会話がありました。また、シネマティック VR 制作を考える同じような志を持つデベロッパーから沢山の質問も受けました。
アンリアルエンジン 4 (UE4) のどの機能が 『Giant』 のビジョンを実現するために役立ちましたか？
Jack Caron 氏: プロジェクトのハード コーダーのアクセスには制約があるため、プロジェクトを実行し調整可能なものにするためにかなりの部分をブループリントに頼りました。サウンド、ダイナミクス、レベルのロード、レベルのストリーミングはすべてノード エディタ、および一部のスケーラビリティとマチネ コントロールで処理されます。
Todd Bryant 氏: 『Giant』は 4.9 で構築され、一連のマチネ ノードによって実行されました。新しいアンリアルエンジンのリリースで提供されるシーケンサーがもたらす可能性と、シネマティックなリリースの次の波に対する開発プロセスをどのように変えるか楽しみです。
他のアンリアルエンジンのデベロッパーが知っておいた方がよい技術的なコツや情報はありますか？
Jack Caron 氏: カスタムのイベントディスパッチャーとパブリックのゲーム ステート変数を使ってレベル間でやりとりするのは、VR 体験の様々な部分をストリーミング レベルに分けた後に使ったやり方です。深度データを使うために視差シェーダーを作りました。視差シェーダーによってひとつのメイン映像ファイルを合成データと並べて使ってライブ映像を左右の目の再生に分けることができます。
『Giant』はチームにとって野心的なプロジェクトでした。どういった点が一番難しかったですか？ また制作プロセスを通してどのようなことを学ばれましたか？
Jack Caron 氏: これまであまり行われていなかった他の物事と同様にいくつかありますが、ライブ映像をエンジン セットに統合しようとしたときに学びました。一部は撮影プロセスに関するもので、レンズの焦点距離、演者と環境のインタラクションがあります (緑のスクリーン上での撮影中)。他に学んだことはエンジンのパフォーマンスに重点を置き、クオリティやライティングを低下させないようフレームレートを高く保つということです。大きな課題は、映像の深度を作成し、それをチューニングすることでした。Kinect 2 と Depthkit のデータを使い、3D エフェクトを試して制作する際にいくつかの方法を講じました。最終的な視差シェーダーにたどりつくまでには試行錯誤がありましたが、視差オフセットからジオメトリの変位まであらゆることを試しました。
『Giant 』とチームの今後はどのようなものでしょうか？
Milica Zec 氏: 3 つの短い仮想現実体験の三部作を作る計画があります。地球上の現在の生活全体を考えるものです。この三部作は内容はそれぞれ違うものの、つながりのある物語を通して差し迫った世界の問題について考えます。第一部の 『Giant』 では、人類が互いに犯す残虐さを伝えます。第二部 (未発表) では、人類が自然や人間以外の生物に及ぼす残忍さを取り上げます。第三部 (未発表) では、地球と自分たちの悲惨な状況に対する一種の解決策を示し、時間的に限りある人間の存在よりも大きな物事を相手にするジレンマに対する希望を示します。
Winslow Turner Porter III 氏: 『Giant』 はヘッドトラッキング HMD をサポートするほとんどのビデオ ゲーム プラットフォームでリリースされます。さらに多くのユーザーを対象にするためにスマートフォン ベースの観客向けに 360 度ステレオスコピック ビデオも配布します。
三部作に加えて、ストーリーテリングを可能な限り没入感のあるものにするために模索と実験を続けていきたいと思います。我々のプロジェクトについてミュージック ビデオを始め、ドラマ関係者まで多様なクライアントと協力者に向けて話をしてきました。Milica と私が初めて一緒に仕事を始めたのは 9 年前のことです。ミュージック ビデオや短編映画を作りました。それを発展過程のメディアである VR に広げるのは我々にとって非常に自然なことだったのです。
--
『Giant』 の VR に関する詳しい情報は、公式ウェブサイト をご覧ください。