2020年4月30日
感動のドキュメンタリーが VR で心に訴える新たな可能性を探る
Meeting You では、娘を亡くし、悲しみに暮れる母親が、バーチャル リアリティの中でその娘と再会します。韓国の文化放送 (MBC) が制作し、2 月 6 日に放映されたドキュメンタリーは、主人公の女性と、その場面を目の当たりにした視聴者の感情を大きく揺さぶりました。 このプロジェクトが生まれたのは 1 つの疑問からでした。「大切な家族と天国で再会できたら、どう声をかけたいか」。さまざまなアイデアを試したあと、制作チームは VR とドキュメンタリーの手法と組み合わせることを決めました。
プロジェクトの参加者を募っていたとき、4 人の子を持つチャン・ジソンさんの話が耳に入りました。3 番目子どもであるナヨンちゃんが 2016 年秋に 7 歳で亡くなっていたのです。ジソンさんは、亡くなった娘に、誕生日にふるまわれる韓国のわかめスープを作ってあげて、愛しているということと、毎日思っているということを伝えたいと願っていました。
プロジェクトの確定後、ジソンさんがナヨンちゃんと一緒にひとときを過ごせるよう、VR でナヨンちゃんの再現に取り組んだのは Vive Studios です。
放送局側のチームと Vive Studios の尽力により、ジソンさんは MBC のバーチャル スタジオでナヨンちゃんと再会を果たすことができました。ナヨンちゃんを亡くしてからずっと寂しい思いをしていたジソンさんは、もう一度、娘に愛していると伝えるチャンスをようやく手に入れました。ナヨンちゃんはごちそうを喜び、誕生日の願いごとをして、「お母さん、大好き」と言いました。最後にナヨンちゃんが白い蝶になって羽ばたいていって、この時間の終わりを告げました。
MBC と Vive Studios は、ジソンさんが娘ともう一度、貴重な時間を共にできるよう、7 か月かけてジソンさんのためのエクスペリエンスを制作しました。
MBC のプロデューサーである Jong-woo Kim 氏と、VR、AR、VFX、映画の制作テクノロジーを提供するクリエイティブ ストーリーテラー、Vive Studios にお話を伺いました。このプロジェクトについて、また、一般的なエンターテイメント以外に VR の可能性、方向性がどのように広がったかについて聞いています。
VR とドキュメンタリーの組み合わせは独創的なアイデアです。Meeting You の制作では、何がインスピレーションになりましたか。
MBC プロデューサー Jong-woo Kim 氏：他界した家族と再会を果たすというモチーフは、新しい番組を企画していたときに頭に浮かびました。ゲーム エンジンによって生み出されるフォトリアルな CG レンダリングにも触発されました。CG 画像はリアルでありながら超自然的でもあり、この点がプロジェクトのテーマに合っていると思われました。
VR で開発することにしたのは、リニアの CG 映像では、どれだけ質が高くても、従来の動画を視聴するのと変わらないからです。VR なら、参加者が相手とふれあうことができるため、エクスペリエンスがまったく異なるものになります。この理由から、誰かと実際に「会う」という印象を与えることが可能だと考えました。VR と AR のどちらで進めるかを選択する必要がありましたが、最終的にその没入感の高さから VR に決めました。
Vive Studios：このプロジェクトについて MBC から打診があったとき、一般にエンターテイメントの一形態として機能してきた、これまでの VR テクノロジーの枠を超えるチャンスだと考えました。このプロジェクトによって、一般の人々が共感できるものを作成できると期待しました。当社のテクノロジーで、視聴者を癒し、心を動かすことができるという事実だけで、このプロジェクトに参加する理由としては十分で、収益などその他の要因は関係ありませんでした。また当社は、エンターテイメント目的を特徴とする VR の分野で新境地を開くこともできました。
制作プロセスで一番難しかった点は何ですか。
Kim 氏：最初は、この作品が誰かにとって本物の現実になり得るという確信が持てず、単なるエンターテイメントの実験で終わるのではないかと思っていました。また、参加する勇気のあるご家族が見つかるかどうかもわかりませんでした。
プロジェクトがある程度進んだら、技術面の限界に直面しました。たとえば、キャラクターが動き回る間、顔の表情を自由に変えるのは、想像していたよりも難しく、またディープラーニングを使って声を合成するのも難しい作業でした。VR エクスペリエンスの当日まで多くの困難が生じましたが、振り返れば、最も難しかったことは、「ナヨンちゃん」という人間の特徴を技術的に再現することでした。
また、どこに、どのように再会の場を用意するかも検討を重ねました。映像作品とは異なり、制作者の意図を取り入れることには慎重でした。チームは、感情面の影響が少なかったとしても、家族の記憶だけを頼りにエクスペリエンスを作り出すことを目指し、参加したご家族の信頼を得ました。このアプローチを通じて、ご家族も私たちに心を開いてくれました。
しかし、何度かパイロット テストを行い、極めて慎重なアプローチが必要だと認識しました。お子さんに先立たれたお母さんが、平静を保ち、論理的思考を使って、不慣れなバーチャル環境でさまざまなことを行うことは容易ではないとわかりました。また、撮影のチャンスは 1 回だけということも大きなプレッシャーでした。母娘の再会という感動の瞬間をとらえるためには、何度も撮影をやり直すことはできません。
「1 人のためにカスタマイズした VR エクスペリエンス」を作り出すために、何を最も重視しましたか。
Kim 氏：1 人のためにカスタマイズされた VR エクスペリエンスのためには、その人だけが知っている個人的な記憶を分析する必要がありました。ナヨンちゃんの全体的な印象、動き、表情は、お母さんの記憶に基づいて分析、再現しました。技術的なスキルや時間が不足していたため、細部をすべてリアルに表現するのは困難でしたが、制約を受けながらも、記憶に基づいてデジタル ヒューマンを作り出す作業に最善を尽くしました。
制作プロセスはどのようなものでしたか。
Kim 氏：お母さんに、自身の記憶の中に入っているという印象を与えることが重要でした。ナヨンちゃんのイメージの多くは、お母さんの記憶に基づいていて、お母さんがナヨンちゃんと行ったことのある公園が舞台でした。このストーリーのポイントは、エクスペリエンスが人工的なものであったとしても、お母さんを慰められるよう、ナヨンちゃんが記憶の中でも、天国でも生きていて、元気でいると示すことでした。
技術面では、ストーリーの展開に伴い、ふれあいの間、ところどころに間をあけて、実際に一緒に過ごしているかのような印象を与えようとしました。この点では、VR 映像制作者なら誰でも入念に検討するインタラクティビティを重視しました。今後は、技術の進歩に伴い、もっと多様なふれあいや自由なストーリーを取り入れることが可能になるはずです。
Vive Studios：制作時には、前述の課題を考慮して、3 つの基準を設定しました。
お母さんの感情に干渉する可能性があるものは回避するよう最善を尽くしました。これは、計画の初期段階で検討されたように、音声認識などの自動化機能を使ったり、キャラクターのリアクションに AI を使ったりしないことを意味しました。このような方法では失敗し、求めている結果が得られない可能性がありました。代わりにモーション キャプチャを使用して、ナヨンちゃんの日常的な行動を詳細に描写する一連のアニメーション クリップを作成し、シナリオに従って適用しました。アニメーションの流れの合間には、待機状態のループを挿入し、シナリオ全体で、ナヨンちゃんのお母さんの状態に応じて、アイドリングと進行の間のタイミングを調整できるようにしました。
また、ろうそくを吹き消したり、ナヨンちゃんが髪をなでられたときに自然に反応したりする簡単なやり取りを追加し、複雑なインタラクションと置き換えました。ここでは、アイ コンタクトが鍵となりました。Aim Offset を使用して、ナヨンちゃんが一連の動きのなかでお母さんと自然に目を合わせるようにしました。
2 つめのポイントは、ナヨンちゃんのお母さんに自然な VR エクスペリエンスを提供するために、デバイスの設定とプログラムの最適化を行うことでした。テレビ放送におけるグラフィックの質とパフォーマンスに対する基準を満たすため、ハイエンド PC を利用する HMD 装置を選択しましたが、優れたレンダリング パフォーマンスを達成するのは容易ではありませんでした。草など、さまざまな環境プロップを大きな空間内でレンダリングする必要がありました。また、ナヨンちゃんの肌、髪、洋服、全体的な見た目は、近くで見たときのリアリティを確保しながらも、処理の負荷を軽くする必要がありました。これを実現するために、モデリングと Unreal Engine のマテリアル設定を継続的に最適化し、アップサンプリング機能を積極的に使用しました。
HMD デバイスについては、お母さんがバーチャル空間を自由に動き回れるように、ワイヤレスの VR モジュールを使用しました。また、お母さんがナヨンちゃんを抱きしめたときには温もりを感じられるように特殊な手袋が用意されました。Unreal Engine で外部のファンもプログラミングし、それをコントロールすることで屋外での風を再現しました。
最後に、さまざまな視点を提供し、お母さんのエクスペリエンスがそのまま視聴者に伝わるようにしました。お母さんの視点から見た VR 映像をミラーリングしたものは、ドキュメンタリーには適していませんでした。ぶれが大きく、解像度が低かったため、映像に酔う可能性がありました。この問題を解決するために、Unreal Engine を利用した Zero Density ソリューションを使用しました。このソリューションにより、お母さんの姿を三人称視点でとらえ、CG の背景と同時に流し、最終的な放送用の映像とすることができました。
Meeting You に Unreal Engine を使用したのはなぜですか。
Vive Studios：地上波放送は、制作の時間と予算が限られています。質の高いインタラクティブなグラフィックを短時間で制作するためには、Unreal Engine が最適であると判断しました。
Unreal Engine は使用したことがあったため、高度なリアルタイム グラフィック、シェーダーなどの機能、ロジックを直感的に作成できることは知っていました。また、Epic Games が提供する無料のリソースや Unreal Engine マーケットプレイスのアセットを使用して制作期間を短縮できるというのも 1 つの理由です。
Unreal Engine は制作のどの部分で使用しましたか。
Vive Studios：Quixel の Megascans ライブラリが、さまざまな環境プロップを大きな空間に置いて、真実味のある VR エクスペリエンスをジソンさんに提供するのに役立ちました。
ナヨンちゃんをデジタル ヒューマンとして再現するとき、質感が滑らかになりすぎて、フォトリアルな肌質やしわを作り出すのに難航しました。この際に、Unreal Engine のデジタル ヒューマンに関するドキュメントを参考にしました。サブサーフェス プロファイルを使用して肌の表面を通過した光を散乱させ、シェーダーを作成して微細な毛穴の細部を処理しました。
ナヨンちゃんの動きは Animation ブループリントや Aim Offset などの機能を使用してデザインし、アニメーションの動きと、ジソンさんとのリアルタイムのアイ コンタクトを自然に融合しました。Unreal Engine は、風をシミュレーションするファンや、体温をシミュレートするデバイスなど、外部デバイスのコントロールにも使用しました。
このプロジェクトから学んだことは何ですか。
Kim 氏：ドキュメンタリーの放映後、多くのご家族から、それぞれのストーリーとともに、亡くなった愛する家族に会いたいという要望が届きました。こういった反響をうれしく思いましたが、考えさせられもしました。このプロジェクトは、想像していたよりもはるかに難しく、規模が大きいと感じました。これをレギュラー番組にできるかどうか確信はありませんが、人を引きつけるストーリーにテクノロジーを活用する可能性を示すことはできました。今後、同じようなプロジェクトに取り組むのであれば、さらなるレベルアップを目指したいと思います。
Vive Studios：Meeting You の放映後、Reuters や BBC などの国際的な報道機関がこのプロジェクトを取り上げ、期待を超える多くの関心、反響が寄せられました。ナヨンちゃんのお母さんに同情した人は大勢いましたが、テクノロジーの応用や倫理規範については賛否両論がありました。
私たちは、最先端のテクノロジーが人間の感情と組み合わさったときに及ぼす影響の大きさがわかっただけでなく、繊細なトピックは慎重に扱う必要があることを学びました。こうした高度なテクノロジーも、近い将来には当たり前のものになるでしょう。現実の生活と VR をどのように管理し、区別すべきかについて、今こそ公に議論すべきだと思います。
今後の展望、目標についてお聞かせください。
Vive Studios：Vive Studios は、さまざまな実験を通じて、人間中心主義的なエクスペリエンスを技術的に再現することにさらに注力し、最先端技術を検証していきます。そのために、Unreal Engine を使ったデジタル ヒューマンの研究と開発を継続していきます。また、VR 技術を映画や TV シリーズの制作に生かせるよう、リアルタイムのバーチャル プロダクション パイプラインを開発する予定です。