拡張現実内での代替現実の構築：UCLA が Unreal Engine で劇場を再定義

MegaGrants を受賞したことにより、チームは Unreal Engine を使った AR について調査できるようになったほか、複数の Unreal Engine プラグイン テンプレートを開発するリソースを得ることもできました。それらのテンプレートを使うことで、学生たちは同じ場所にいなくても協力して作業を進められるようになりました。これにより、チームはモバイル デバイスとワークステーション デバイスの両方を対象に、プリビジュアライゼーションと AR のコンポーネントの開発を始めることができました。プラグインのアーキテクチャが完成したところで、このプロジェクト、A Most Favored Nation の制作を開始する準備が整いました。
 

Unreal の活用

まず、コンセプトを具体的なものにするために、UCLA の少数の学生が選ばれ、経験豊富な職員およびゲストと協力して作業にあたりました。ゲストのなかには、高い城の男のドラマ シリーズのプロダクション デザイナーもいました。これは教育目的のプログラムではありませんでしたが、REMAP の先進的なプロジェクトでは、学生はプロセスの各段階でさまざまなコースに参加する機会を得ることができます。そうやってスキルを磨き、それぞれが目指す業界で働く準備をします。

A Most Favored Nation のプロジェクトでは、REMAP は、演出、脚本、デザイン、舞台管理、演技、博士課程の批判的研究など、演劇関連のすべての分野から学生を参加させ、制作における重要な役割を任せました。REMAP の共同創業者、Jeff Burke 氏は次のように述べています。「映画のプログラムからは撮影監督が参加し、ビジュアル面で見た目や感覚について助言しました。デザインを専攻する学生はイナゴ身重く横たわるの AR デバイスのプロトタイプを作成しました。脚本家の 1 人は修士課程のシナリオ制作プログラムの学生でした。Unreal Engine の利用を含めて、制作のソフトウェア面にも学生を関与させました」

Burke 氏はプロジェクトで使用した Unreal Engine の機能のうち気に入っているものについて、次のように述べています。「REMAP では、ブループリントを利用することで、コーディングの経験がない人でもエンジンを使うことができました。AR パススルー カメラの露出とマテリアル システム内のオクルージョン マスクも、望み通りの見た目と感覚を得るために重要な役割を果たしました」

REMAP はすべてのビデオ プレーンの合成をリアルタイムで行いました。つまり、リアルタイムまたはネットワークされたビデオと、あらかじめ録画されたビデオのプレーンに対して、同じアプローチを使うことができました。「従来は独自のものを開発していましたが、コンポジターとして Composure を利用することにしました。高品質のキーイングをリアルタイムで行えるようにすることで、時間が限られているなかでもさまざまな要素を簡単に作成し、見た目を良くすることができました」と Burke 氏は述べています。

Unreal Engine のプラグイン アーキテクチャにより、Burke 氏とリード デベロッパーの Peter Gusev 氏は、再利用可能なコンポーネントを開発することもできました。このアプローチにより、貴重な時間を節約できただけでなく、2 人は、基準位置の決め直し、ビデオ プレーンの機能、外部 OSC の制御など、特定のタスク用のプラグインについての作業を学生に依頼することもできました。各コンポーネントは同じボイラープレート コードに基づいて作られるため、学生は bash スクリプトを使って独自のプラグインを生成できました。
 

新しい現実

AR テクノロジーを使っていたため、チームはパンデミックの最中でも作業を進めることができました。サブレベルを適切に整理し、アセットを慎重に管理して、プラグインを重視したことにより、REMAP はコラボレーションを活用したワークフローをリモートのチーム全体で活用できました。COVID-19 のパンデミックが世界中で猛威を振るったなかでも、それはあまり支障にはなりませんでした。チームは引き続きセットを作り、デザインを決め、パフォーマンスが展開される空間に足を踏み入れることなく全体のモックアップを作成しました。俳優に自宅で自分を撮影してもらい、それを仮想環境に取り込んで俳優のテストを行うことさえできました。

パンデミックに伴う規制により、大人数で集まることが禁止されていたので、ライブ パフォーマンスをその規制に適応させるという課題もありました。長い時間をかけて話し合った結果、学生たちは、それぞれのシーンを複数のオーディエンスのスマートフォンで撮影し、後に視聴者がどの映像を見るか選べるようにしました。こうすることで、実際に演技を見る場合と同じような体験ができます。それぞれの映像をインタラクティブなビデオ ストリームとして記録し、どのオーディエンスのカメラの映像を見るか視聴者が選択できるようにしました。

最後に、この形式は、オーディエンスが興味を持って楽しめる直線的なストーリー展開のバランスについて多くの議論を生み、アイデアをもたらしたので、その点について調査するチャンスが生まれました。

「Unreal Engine を中心にプロジェクトを進めると、劇場、ゲーム、映画、ビデオの境界があいまいになり、マルチプラットフォームのマルチユーザー エクスペリエンスができあがります。洗練され、アクセシビリティの高いものができたので、REMAP では長期的にさまざまなプロジェクトで Unreal Engine を導入していきます」と Burke 氏は述べています。

次のプロジェクトとして、AR とイマーシブな劇場のプロジェクトを UCLA で制作するために、Burke 氏は、ヒューゴー賞を獲得した小説、都市と都市を原作として使う許諾を得ています。A Most Favored Nation と同様に、このプロジェクトにも職員と学生が協力して取り組みます。また、現実と AR の要素すべてを Unreal Engine 内で構築する予定です。

Burke 氏は次のように述べています。「プリビジュアライゼーションのワークステーションを使っているか、AR 対応のモバイル デバイスを使っているか、その他のデバイスで参加しているかに応じて、1 つの環境でさまざまな要素の見え方を選べるようにしました。こうすることで、新しいワークフローを即席で作り出し、問題を迅速に解決できました。作業の効率が上がり、オーディエンスはまったく新しい平行世界をキャラクターと共有し、その世界の中で選択を行うことすらできました。もうこれ以外の作業の進め方は想像できません。説得力があり魅力的な、まったく新しいエクスペリエンスを作るために役立つやり方です」