ワード、カメラ、アクション：Unreal Engine 5 と AI を活用したミュージック ビデオの作成
2022年7月26日
AKIRA からインスピレーションを得たサイバーパンク映像をただテキストのみから作り出すことができるとしたらどうでしょうか。アーティスト集団 Sagans のチームにとって、それは試す価値のある未来です。Sagans のチームは、Unreal Engine の MetaHuman テクノロジーと AI アルゴリズムを組み合わせて、デビュー作となるミュージック ビデオ Coherence の大半のショットを言葉による説明から生成しました。
その結果、新しい都市で自分の居場所を見つけようとする女性の姿をポストモダン風に描く映像ができ上がりました。明るいサクラの木やニューヨークのサブウェイなどが音楽にのせてスケッチのようなスタイルで描かれ、舞台は移り変わり続けます。Sagans のアーティストたちは、AI は私たちの仕事 (あるいは世界すべて) を奪うために作られた恐ろしい存在とは限らないということを示しました。AI はクリエイティブのまったく新しい可能性を開く鍵となり得ます。
その結果、新しい都市で自分の居場所を見つけようとする女性の姿をポストモダン風に描く映像ができ上がりました。明るいサクラの木やニューヨークのサブウェイなどが音楽にのせてスケッチのようなスタイルで描かれ、舞台は移り変わり続けます。Sagans のアーティストたちは、AI は私たちの仕事 (あるいは世界すべて) を奪うために作られた恐ろしい存在とは限らないということを示しました。AI はクリエイティブのまったく新しい可能性を開く鍵となり得ます。
音楽業界の革新
Sagans の 3D スペシャリスト、Aurelien 氏によると、Coherence は Sagans が成し遂げようとしていることそのものを表現しています。「私たちは、音楽業界は利益を追求する場合を除いてリスクをとることを恐れていると感じていました。それはまっとうなコンテンツの減少につながっていて、それこそが Sagans を立ち上げたきっかけでした」ミュージシャン、グラフィック デザイナー、研究者からなる Sagans は、曲ができ上がるまで待つことなく初めてのミュージック ビデオの制作に着手しました。そうすることで、人工知能やリアルタイム グラフィックスなどのテクノロジーを通じて自分たちのビジョンを表現する方法を探るための時間と自由を得ることができました。
Aurelien 氏は次のように述べています。「使うことを最初に決めたテクノロジーは Unreal Engine 5 でした。Quixel のアセット ライブラリを使って世界を作り、それからすぐ MetaHuman Creator を導入してリアルなキャラクターを作りました。これですべてが変わりました。ごくわずかの時間で美しいものを作ることができるようになり、Coherence に着手する準備ができたとわかりました」
Video courtesy of Sagans
AI の追加
Sagans のチームは、まず大友克洋氏の AKIRA の象徴的なアニメーションのスタイルを映像の基礎とすることを決めました。次のステップはヒロインを作ることでした。Aurelien 氏は次のように述べています。「Unreal Engine を使う前は、3D の世界にあまり馴染みがありませんでした。そういった事情から、キャラクターの作成は非常に難しいことだと思っていましたが、幸いなことに MetaHuman Creator によってキャラクターを作りやすくなりました」
Images courtesy of Sagans
視聴者が親しみを感じる人物を作るために、MetaHuman のデータベースにあった 3 人分の顔の要素をブレンドし、気に入ったものを見つけました。次に iOS 向けの Live Link Face アプリを使ってキャラクターの表情のアニメーションを作成しました。同時に Sagans のアーティストは Quixel を使って Unreal Engine で環境の作成を始めました。イギリスの街角を日本のようなスタイルにしたものやニューヨークのサブウェイの車両など、映像に必要なあらゆるものを作成しました。
Video courtesy of Sagans
「環境の作成においては Lumen が非常に重要な役割を果たしました。Lumen のおかげで、大量のハードウェア リソースを消費することなくライティングの作業をリアルタイムで行うことができました。また、雨などのパーティクルには Niagara を使ったので、UI で見えているとおりのものを数秒でレンダリングできるとわかりました」と Aurelien 氏は述べています。
最後の段階で Unreal Engine からの出力を 3 つの AI アルゴリズムにかけ、シーンのニーズに合わせた最終的な大友作品風のスタイルを作り出しました。最初のアルゴリズムでは、Sagans のアーティストがシーンのスタイルをテキストで説明し、それを映像で表現できるようにしました。2 つ目のアルゴリズムでリファレンス画像からアニメーション映像を作成し、最後のアルゴリズムで実写風の映像をアニメーション スタイルに変換しました。
Aurelien 氏は次のように述べています。「大半のショットでテキストを映像化するアルゴリズムを使いました。Disco Diffusion 5 を使って個々のフレームを生成し、それをアルゴリズムで映像にしました。テキストで極めて詳細にスタイルを描写し、不足がないようにする必要がありました。たとえば、空について言及しておかないと、マシンは都市の上に空があるということを忘れてしまいます。良いフレームが 1 つできたら、カメラの動きを考慮しながら、以降のフレームを作るために十分な説明がされていることを確認しました。最後に 20 番目のフレームでレンダリング結果を確認しました」
Image courtesy of Sagans
現実離れした成果
リアルタイム 3D と AI を活用したユニークなワークフローにより、3 人から成る Sagans のクリエイティブ チームは、わずか 8 週間のうちに Coherence の最初のショットから最終的なレンダリングまでを完成させることができました。「シンプルで使いやすく、私たちのビジョンをすぐに実現してくれるソリューションを求めていました。Unreal Engine はその期待に応えてくれました。数回クリックするだけでディテールに富んだキャラクターと都市の環境を簡単に作成でき、モーション キャプチャ スーツなしでヒロインにアニメーションを付けることができました」と Aurelien 氏は述べています。Coherence は完成し、Sagans のチームは今後のミュージック ビデオのプロジェクトにも Unreal Engine と AI を使い続ける予定です。Aurelien 氏は次のように述べています。「コンテンツを初めてリリースするのはいつも神経がすり減るものですが、Coherence への反応はとてもいいものになっています。人工知能はただ私たちの仕事を奪うだけでなく、手助けをしてくれたりインスピレーションを与えてくれたりするものだと知ってもらいたいと思っています。この映像はその実現に向けた第一歩です」
今すぐ Unreal Engine を入手しましょう。
世界で最もオープンで高度な制作ツールを手に入れましょう。
Unreal Engine は、すべての機能がすぐに使える状態で、すべてのソース コードにアクセスできます。
Unreal Engine は、すべての機能がすぐに使える状態で、すべてのソース コードにアクセスできます。