ドイツのシュツットガルトで 4 月 30 日から 5 月 3 日まで開催された FMX 2019 では、プレゼンテーションや製品デモを通じて、アニメーションやエフェクトに関連する 5 つのトレンドが浮かび上がりました。ここでは、それらのトレンドを紹介し、リアルタイム テクノロジーの未来にどのような影響があるのか見ていきます。
トレンド 1：リアリズム
NVIDIA RTX カードなど新しいハードウェアに加え、UE4 などのリアルタイム ゲーム エンジンの進化が、アニメーションやビジュアル エフェクトの多くの側面に影響を及ぼしていることが顕著でした。物理的に現実味のあるライティング、特にリアルタイムのレイ トレーシングの台頭で、アニメーションやエフェクトのリアリティが増しています。
一例として Matt Workman 氏の Cine Tracer があります。Workman 氏が FMX の 2 日目にプレゼンテーションを行ったリアルタイムのシネマトグラフィ シミュレーターです。これはゲームとアプリのハイブリッドであり、Workman 氏のプログラミングの知識と、現場で 10 年にわたり培った映画撮影技術の知識が生かされています。Cine Tracer では、従来のピッチ ビジュアライゼーション (pitchvis) やプリビジュアライゼーション (previs) のプロジェクトとは異なり、プロジェクトの正確なブロッキングやレンズ効果だけでなく、リアルでインタラクティブなライティングや被写界深度が実現します。
この UE4 プロジェクトのリアリティを生かして、映像制作者は、業界標準の仮想的なライト、クレーン、カメラを使い、動き、焦点、煙ともや、ライティングをクリエイティブに掘り下げることができます。「プレイヤー」は、Unreal Engine 4 で開発された魅力的な次世代環境で、デジタルのタレントまたは俳優を相手に、現実世界と同じように演出や監督を行い、試すことができます。
トレンド 2：バーチャル プロダクションとデジタル ヒューマン
セットでのリアルタイムのコラボレーションと、洗練された映像制作のパイプラインが、直線状ではないストーリー作成プロセスにつながり、結果的に創造性が育まれる可能性があります。いくつかの講演で、UE4 をアニメーションやエフェクトのパイプラインに組み込んだ場合のリアルタイム コラボレーションへの効果が取り上げられました。Epic Games のロサンゼルス ラボの責任者である David Morin が進行を務めた FMX のバーチャル プロダクション トラックは、リアルタイム テクノロジーでプロダクションのパイプラインを改善、革新した企業の事例が大半を占めていました。たとえば、Method Studios のクリエイティブ ディレクター兼シニア VFX スーパーバイザーである Kevin Baillie 氏は、ロバート・ゼメキス監督の Welcome to Marwen で、クリエイティブな UE4 のバーチャル プロダクション テクニックをどのように使って人形に命を吹き込んだかを説明しました。
トレンド 3：シミュレーション
エンゲージメントとリアリティをさらに高めるリアルタイム シミュレーションが、複数のレベル、複数の講演で話題になりました。
たとえば、Epic Games のゲーム Robo Recall が展示され、参加者は今年の GDC での UE4 のデモで紹介された新しい破壊ツール Chaos を体感できました。新しい Robo Recall のデモでは、インタラクティブではないカットシーンに限らず、シミュレーションの負荷が高いアクションの最中でも、複雑なシーンをプレイヤーが操作し、直接的にやり取りして影響を与えられる (破壊できる) ようになったことが示されました。UE4 によってリアルタイムでアニメーションをレンダリングできるのは以前からのことですが、このデモによって、シミュレーション パフォーマンスの大幅な向上が実証されました。プレイヤーは、観客になるのではなく参加できるのです。
トレンド 4：ディープ ラーニング
アニメーションのテクニカル ディレクターやプログラマーがリアリティを高め、リアルタイム シミュレーションを制作するために使用する手法のひとつに、ディープ ラーニングなど機械学習があります。今回、最も幅広いプレゼンテーションで耳にしたキーワードを挙げるなら、それはディープ ラーニングでしょう。メディアやエンターテイメント向けリアルタイム テクノロジーというコンテキストにおいては、ディープ ラーニングには、膨大なビジュアル データのセットから「学習」し、その学習結果をリアルタイムでレンダリングに適用するプログラムを記述することが含まれます。この分野で特に注目されている例に、ノイズ除去、レイ トレーシング、そして最近では表情やキャラクターのアニメーションがあります。
その代表例として、表情のトラッキングとアニメーションを行う Digital Domain の優れた作品があります。Doug Roble 氏が、UE4 を使用して、自身の仮想コピーである Digital Doug を忠実かつリアルにリアルタイムで操りました。このプロジェクトは、Epic Games での数年間の取り組みを基盤とし、それを拡張していますが、その際には、話し方や顔の動きの詳細なトレーニング データを生成する新技術が使われています。
Darren Hendler 氏も、Marvel のキャラクター、サノスに使った同様のデジタル ヒューマン技術のプレゼンテーションを行いました。いずれのプロジェクトも、Digital Domain の表情のパイプラインにディープ ラーニングを取り入れています。
ただし、AI のあらゆる発展にディープ ラーニングが使われているというわけではありません。カンファレンスでは、Method Studios の Matthias Wittman 氏が UE4 内で高度なキャラクター アニメーションを行うために実施した感情知能の研究も紹介されました。この事例では機械学習は (まだ) 使われていませんが、2 人目のキャラクターのインタラクティブでリアルな演技が可能になります。このシステムは、インタラクティブ方式だけでなく、VR でも動作する仕様になっています。Wittman 氏は、その場で VR の中のキャラクターの顔をつついてみせて、参加者を楽しませました。
トレンド 5：USD の開発と採用
技術レベルでは、今年の FMX では、UE4 のパイプライン インテグレーションと、ほかの業界標準ツールとのアセットの相互運用性について、重要な発展がありました。Autodesk の Maya、Foundry の Nuke、Unreal Engine などのプログラムがすべて、オープンソースの標準フォーマットである Universal Scene Description (USD) のサポートに取り組んでいます。特に期待がかかるのが、NVIDIA が開発している新しいツール Omniverse です。まだ初期段階ですが、Omniverse により、複数のアプリケーションを使用する個人のアーティストから、複数の大陸に広がるオフィス間でリアルタイムでアセットを共有している企業まで、さまざまなユースケースで、完全かつシームレスなやり取りと、全般的なアセットの更新が行いやすくなる可能性があります。
USD は、アニメーション、モデル、アセットを幅広く共有するために Pixar Studios で生まれた技術です。交換フォーマットの Alembic とは異なり、USD には、個別のアセットを対象としたレイヤー、リファレンス、シェーディングのバリアントなどが含まれます。USD が広範囲で採用されれば、Unreal Engine を含め、数多くのアニメーションやエフェクトのパイプラインで効率が大幅に向上するでしょう。
Epic Games がオープンソース ムーブメント、そして Academy Software Foundation に注力していく立場に変わりはなく、魅力的なオンスクリーン イメージを最大限に活用し、UE4 によるプロダクションの効率を高めるために、NVIDIA などの企業と緊密に連携しています。これは、アニメーションからバーチャル プロダクションまで、あらゆるプロダクションに役立ちます。
リアルタイム テクノロジーのメリットを活用するには、Unreal Engine をダウンロードし、バーチャル プロダクション、リアルタイムのレイ トレーシングなどをお試しください。また、バーチャル プロダクションのハブでは、リアルタイム テクノロジーを映画やテレビ番組の制作に活用する方法に関するインタビュー、動画、詳細情報を集めています。