ワード、カメラ、アクション：Unreal Engine 5 と AI を活用したミュージック ビデオの作成

音楽業界の革新

Sagans の 3D スペシャリスト、Aurelien 氏によると、Coherence は Sagans が成し遂げようとしていることそのものを表現しています。「私たちは、音楽業界は利益を追求する場合を除いてリスクをとることを恐れていると感じていました。それはまっとうなコンテンツの減少につながっていて、それこそが Sagans を立ち上げたきっかけでした」
 

AI の追加

Sagans のチームは、まず大友克洋氏の AKIRA の象徴的なアニメーションのスタイルを映像の基礎とすることを決めました。次のステップはヒロインを作ることでした。Aurelien 氏は次のように述べています。「Unreal Engine を使う前は、3D の世界にあまり馴染みがありませんでした。そういった事情から、キャラクターの作成は非常に難しいことだと思っていましたが、幸いなことに MetaHuman Creator によってキャラクターを作りやすくなりました」

「環境の作成においては Lumen が非常に重要な役割を果たしました。Lumen のおかげで、大量のハードウェア リソースを消費することなくライティングの作業をリアルタイムで行うことができました。また、雨などのパーティクルには Niagara を使ったので、UI で見えているとおりのものを数秒でレンダリングできるとわかりました」と Aurelien 氏は述べています。

最後の段階で Unreal Engine からの出力を 3 つの AI アルゴリズムにかけ、シーンのニーズに合わせた最終的な大友作品風のスタイルを作り出しました。最初のアルゴリズムでは、Sagans のアーティストがシーンのスタイルをテキストで説明し、それを映像で表現できるようにしました。2 つ目のアルゴリズムでリファレンス画像からアニメーション映像を作成し、最後のアルゴリズムで実写風の映像をアニメーション スタイルに変換しました。

Aurelien 氏は次のように述べています。「大半のショットでテキストを映像化するアルゴリズムを使いました。Disco Diffusion 5 を使って個々のフレームを生成し、それをアルゴリズムで映像にしました。テキストで極めて詳細にスタイルを描写し、不足がないようにする必要がありました。たとえば、空について言及しておかないと、マシンは都市の上に空があるということを忘れてしまいます。良いフレームが 1 つできたら、カメラの動きを考慮しながら、以降のフレームを作るために十分な説明がされていることを確認しました。最後に 20 番目のフレームでレンダリング結果を確認しました」