Quartz を使用したプロシージャルな音楽の生成

ダウンタイム画面のビデオ ゲーム オーディオ

こんにちは！Adam Block です。Epic Games で技術サウンド デザイナーをしています。この技術ブログでは、チームや私が Quartz という Unreal Engine のサブシステムを使用してフォートナイトに適用した最近の実装について、いくつかのアイディアを共有したり、説明したりします。これを読んだ後は、Quartz とは何か、またその機能についてより理解し、プロジェクトに Quartz を取り込むきっかけとなることを願っています。この非常にすばらしい機能について学習する時間を割いていただき、ありがとうございます。

Quartz とは

Quartz は Unreal Engine 内にあるサブシステムです。これにより、オーディオ バッファ間であっても正確な (サンプル アキュレートな) 瞬間にイベントが発生するようにスケジューリングされます。音楽コンテキストで Quartz を使用する場合は、オーケストラの前に立つ指揮者の役割を担っていると考えることができます。指揮者の右手は指揮棒を一定の形で揺らしてすべてのプレイヤーが守るべきテンポを維持しながら、さまざまなセクションのミュージシャンが自分たちのパートを演奏できるように、ところどころで左手を適格な瞬間に伸ばして合図を送ります。

Quartz では、サンプル アキュレートなオーディオ再生が可能になり、オーディオ エンジンでは、イベントが PFX やその他のゲームプレイ イベントのゲーム スレッドに戻るために必要な時間を十分に取ることができます。なかなかクールですよね？「Play Quantized」イベントを行う Quartz では、.wav、サウンド キュー、MetaSound、またはオーディオ コンポーネントを含む、いかなる uSoundbase オブジェクトも使用することができます。

Quantized Playback イベントが発生するその瞬間に、パーティクル エフェクトのバースト、ライトの点灯などをトリガーできます。Quartz サブシステム内で、曲のテンポと拍子に関連する特定の「量子化境界線」をいくつでも定義することができます (たとえば、4 小節ごとにこれを行ったり、8 小節ごとの 2 拍目でこれを行います)。

Quartz は音楽関係のアイディアにとってすばらしい選択である一方、音楽以外のコンテキストにも適しています。実際に、フォートナイトのいくつかの武器には、非常に高速で正確な武器の発砲音をトリガーするために Quartz が使用されています。Quartz クロックを使用してサブマシンガンの発砲音を、武器の発砲が毎分 110 拍のクロックの 32 音符ごとに実行されるようにスケジューリングする場面を想像してください。おそらくパーティクル エフェクトはその Quartz クロックをサブスクライブし、発砲されるたびに正確にパーティクル エフェクトをスポーンすることができるでしょう。Quartz がないと、ビデオ フレーム レートにバインドされるため、高速な発砲に一貫性がなくなり、「ギャロップ」のように一瞬無音になる可能性があります。

プロシージャルな音楽

フォートナイトでは、新シーズンが始まる前におおよそ 10 時間の「ダウンタイム」期間がありますが、それに対してカスタマイズされた音楽のリクエストがありました。これが、Quartz を使用して印象的な音楽パターンや繰り返しのループが認識されない、プロシージャルに生成された (ループしない) リスニング エクスペリエンスを作成するよい機会となったのです。通常、同じコンテンツを何度も繰り返して聞いていると飽きたり疲れたりしやすいものですが、このアプローチでは、音楽フレーズの小さな「チャンク」を集めてシャッフルし、実行時に再生するバリエーションをランダムに選択しました。

このロジックを処理する音楽コントローラーは、ブループリント で構築しました。簡単に言うと、曲のプレイリストをシャッフルし、ランダムに曲を選択します。曲が選択されると、すべての音楽的な「枝」(ベース、ドラム、メロディー、パーカッション、和音など) が「現在の曲」として参照され、ブループリント ロジックは (Quartz サブシステムを使用して) 何をいつ再生するかを指示するだけです。

Quartz の大きなメリットの 1 つを挙げるとすると、これは Unreal Engine のサブシステムであるため、開発チームの誰もが私の Quartz クロック (たとえば、「Song 1」、「Song 2」など) をサブスクライブして、現在再生しているトラックの小節と拍をすべて取得できることです。小節や拍を取得したメンバーは、音楽と完璧にマッチするものであれば何でも自由に制作することができます。

今回の場合は、他のチームでもわかるように非常にシンプルにして、小節、拍、その他の分割要素のデリゲートを Quartz クロックから呼び出しただけです。これらのデリゲートには、FX チームがビジュアル変更を行うために使用するイベントがバインドされていました。それらをご紹介します。

プライマリ データ アセット — 曲固有の情報

それぞれの曲が独自のプライマリ データ アセットでした。これらのデータ アセットには、トラックに関するありとあらゆる情報が含まれています。トラック名 (この変数を「クロック名」と読んでいました)、テンポ、小節単位での曲の長さ (このトラックが終了してプレイリストがシャッフルされるまで、どれくらいプロシージャルに再生するか)、各レイヤーの小節と拍 (たとえば、ベース ラインは 8 小節のフレーズで最後は 4 拍、メロディは 4 小節のフレーズで最後は 4 拍)、それぞれの音楽的な枝 (レイヤー) のすべての uSoundBase アセットが、トラックのデータ アセットに含まれています。

概念的には、DJ デッキのような「A」と「B」があるアプローチにしました。すべてのパートが「A」デッキで再生を開始し (つまり、メロディ A)、そのパートが終了すると、別のパートがランダムに選択されて「B」デッキで再生されます。この動作を考えながらオーディオ コンポーネントを使用したわけではありませんが、フレーズを入れ替えてコール アンド レスポンスのシステムを目指すアイディアは当時、状況に合っているように見えました。

「A」というメロディ、和音パート、ドラム フレーズ、ベース ライン、パーカッション パートの配列があり、「B」という対応するアセットの配列にすべて切り替わって選択が行われます。このシステムは、基本的にプロシージャルに生成されるコール アンド レスポンスのアプローチです。データ アセットはこれらのアセット、および各レイヤーの持続時間を定義するパラメータと設定を保持しているだけで、Quartz クロックを保持する音楽コントローラーが、いつ再生する新しいレイヤーを探してシャッフルし、キューするのかを把握しています。

Shuffle data assets

この関数では、DataAsset 配列を取得してシャッフルし、1 つを CurrentDataAsset として設定します。その DataAsset から BPM を取得して Next BPM 変数に設定し、IntroComplete ブールを「false」に設定します。これは、新しい曲を初めて再生するからです。

Does clock exist

ツールで初めてロジックを実行するときに、すでにクロックが存在しているかどうかを確認します (たとえば、「Track02」というトラック名で行います)。この場合は存在しないため、クロックに Quartz の量子化境界をいくつか設定する必要があります。また、新しいクロックも作成し、現在の曲の名前などの好きな名前を付けます。

Reset Bools

この関数では、前のサイクルで設定した可能性のあるブーリアンをすべてリセットします。

メインの再生ロジック

小節と拍が再生され始めると、(小節と拍にそれぞれ) 変数を設定しているため、小節の合計時間と再生中の拍数が数えられます。これらの変数を後で使用して、曲のプレイリストをシャッフルし、新しい曲を選択する正確な時間を把握します。

この「Calculate Song Duration」関数内では、現在のデータ アセットの「小節単位の合計時間」を参照し、拍ごとに「もう変更するべきか？」を計算しています。これは「Bar Counter」変数を参照し、モジュロを使用して最終的に Current Song Duration に達し、その小節の 4 拍目になったことを通知してくれます。それが true の場合は、曲のプレイリストをシャッフルしてこのロジックを継続するタイミングだということがわかります。

最後に、「InitiateNewTrackPlayback」イベントに到達するとブループリント ロジックの先頭に戻り、また繰り返して同じロジックを実行します。しかし今回は、最初の「針を落とす音」とループする環境音は省きます。

例として、ベース パートでは Current Data Asset を参照し、バリエーションを選択する前に正しい小節と拍かどうかを確認します。正しい条件が満たされている場合、実行パスを継続して次のロジックに進みます。

その選択が完了すると、次に変数「Deck A Is Playing」を使用し、それとは反対の値に設定します。そして次にロジックが実行されると、もう一方が選択されます。これにより、基本的にブーリアン変数が毎回入れ替わることになります。A が再生されている場合は B を選択して B をアクティブに設定します。B がアクティブな場合は A を選択して A をアクティブに設定します。

サウンド変数を Play 関数に渡す

各パートがランダムに選択されると、その uSoundBase 参照 (音楽クリップ) が出力として渡され、「Queue Next Deck」関数にフィードされます。

このような感じです！おわかりかと思いますが、Quartz は非常に強力なサブシステムで、正確な瞬間にサンプル アキュレートなタイミングで再生をスケジューリングすることができます。この設定で行ったことは、音楽のレイヤーを分割し、それを 4 小節や 8 小節のフレーズに分けて、さまざまな量子化境界を使用して適切なタイミングで再生されるようにスケジューリングしただけです。

Quartz が数を数えて各曲の最大小節数に達すると、データ アセットのプールをシャッフルし、別の曲を選択して BPM を設定し、特定のブーリアン、ゲート、DoOnce などを消去して、同じロジックを実行します。

これを解決するための今回の特別なアプローチは、「これしかない」方法でもなく、「Epicの」方法でもなく、ただの「1 つの」方法です。このコントローラーを磨き上げ、最適化を進めることにより、強化、冗長性の削減、およびセットアップへの MetaSound の組み込みを行う機会が何度も出てくるでしょう。ゲーム音楽、特にプロシージャルな音楽生成に興味のある方は Quartz に挑戦し、自分が納得できるアプローチを使用して独自のシステムを構築することをお勧めします。ただし、Quartz サブシステムは音楽専用のツールではないということを覚えておいてください。音楽アプリケーションとしての機能以外にも、Quartz を使用できる場面はたくさんあります。武器、イベント、プロジェクト全体の規模で同期するものがある場合はどれも、Quartz クロックを作成して望むことをやってみるすばらしい機会です。

Unreal Engine の Quartz サブシステムについての理解が深まり、プロジェクトでの活用方法を考え始めていただけることを願っています。どうもありがとうございました！

ビジュアルを作成する

こんにちは！Epic Games でマーケティング アート ディレクターをしている Paul Oakley です。これから、フォートナイト チャプター 3 シーズン 3 のスタート時に画面に表示されたビジュアルの作成方法に関する情報をお教えします。

私たちがこのローファイ サウンドトラックについて話していたとき、「発光生物の森が生きているというアイディアとサウンドトラックのアイディアを結び付けて、発光生物のさまざまなパーツをビートのさまざまな部分とペアにしたらどうなるだろうか？」と尋ねてみたのです。ここでオーディオ チームが本領を発揮しました。

CG チームに静的な美しい レンダリングを作成してもらい、次にすべての発光する木々など、そのイメージのさまざまなチャンネルをすべて異なるマップで実行しました。また、UI/UX チームが UV カードを作成し、そのイメージをカードにマッピングしました。

そして、それらのチャンネルを使用して強度とカラーのバリエーションを操作し、Quartz クロックに組み込みました。これにより、強度乗算の値が操作され、それぞれのビートの振幅によってトリガーされます。

基本的に、これはカードにマッピングされた CG イメージで、そのイメージ内にあるさまざまなマスク要素を示すチャンネルが不足します。

これらの追加パスと一緒に美しいプレートがあります。通常、それらを持ち出してコンポジットし、オフラインでレンダリングすると、再び 1 つの静止画像になります。基本的には画像を挟んで再圧縮してから、実際に画像を表示します。

今回はそのようにしませんでした。取得したすべての出力をリアルタイム コンテキストでカードにフィード バックしていますが、これは基本的にはカメラでリアルタイムにキャプチャされます。そのカードでは、すべての二次出力を再コンポジットし、計算によってそれらのマスクを使用して変更を行います。

Quartz クロックもまた、それらのマスクに接続し、変更し、波動するところがリアルタイムにカメラでキャプチャされます。それが、スクリーン空間で視聴者である皆さんに表示されます。これは本当に既成概念に捉われない考え方です。以前からあるものをたくさん取り込んでいますが、それに加えてとても斬新です。

UI およびシェーダー

こんにちは、Marcel Swanepoel です。Epic でフォートナイトのシニア UI アーティストをしています。これからフォートナイト チャプター 3 シーズン 3 のシーズン開始画面を使用して、UI や UI マテリアルのセットアップについていくつかご紹介します。

この機能の開発サイクルは、まず必要となる UI の技術要件を調査することから開始しました。その際の目標は、動的なオーディオ入力を取得して、最終的なビジュアル出力の制御に使用することができる機能を備えた完結型のシステムを生成することでした。同時に、ロード画面としても使用できるように、システムへの負荷を軽くする必要がありました。

システムは最終的に、オーディオの範囲をブループリントからマテリアル パラメータ コレクション (MPC) に出力することにしました。これは、UI マテリアルにそのデータを取り込むために必要となる動的入力として機能し、最終的なビジュアルを構築するために使用されるさまざまなレンダリング パスおよび 2D FX を制御するために使用します。この UI マテリアルは、Unreal Motion Graphics (UMG) を使用してテキストやタイマーなど、他の UI 要素を追加するロード画面のウィジェット ブループリントで参照されます。

UI マテリアルの設定は、さまざまなレンダリング パスを再コンポジットする必要があるため (これはレンダリング チームの担当です)、複雑な側面もあります。さまざまなパスの詳細は、カラー パスから始めましょう。カラー パスとは完全にレンダリングされている画像で、光る葉、川、およびボケがすべて解除されています。さらに、これらの要素からの反射や反射光もすべて無効になっています。これは、音楽が始まる前のロード画面が表示される一番最初の静止ショットになります。

全範囲の RGB 値を使用する必要があるため、さまざまなテクスチャ パスでフォリッジの発光を導入しています。これにより、さまざまな時間間隔でオーディオからトリガーされるフォリッジ グループを生成することも可能になり、すべての発光するフォリッジに、より多くのバリエーションを導入することができるのです。

曲がりくねった川を流れるストリークのエフェクトを作成した方法を見ると、ここでもまた Z 深度パスに多くを頼っていることがわかります。ストリークはカスタム UV の V チャンネルを横切ってパンする、チャンネルパック化されたディスタンス フィールドです。

シーン内をストリークが移動する場合、Z 深度を使用してディスタンス フィールドをクランプし、バックグラウンドの焦点が合っていないものからフォアグラウンドの焦点が合うものへと移動しているような錯覚を与えます。さらに、Z 深度を使用してシーン全体でストリークの強度を制御しています。カスタム UV は川の輪郭に沿って生成されているため、それを 0 から 1 の範囲にマッピングし、ストリークもそれに適切に従うようにすることができます。オーディオ入力を使用すると、強度と表示されるストリークの数の両方を制御することができます。

シーンを仕上げるために、ボケと光線を使用して少し雰囲気を追加しました。これらはどちらも、やはり Z 深度を駆使してシーンにブレンドし、適切にエリアをマスクしています。ボケのエフェクトは、ランダムなノイズ関数を使用して円形の Signed Distance Field (符号付き距離フィールド、SDF) の動き、サイズ、オパシティを駆動するように生成されました。光線マスクはレンダリング チームから提供されたもう 1 つのパスで、Z 深度とカスタム UV マスクと一緒にチャンネルスタックしました。チャンネルパック化は、最大 3 つのグレースケール テクスチャを 1 つの RGB テクスチャ アセットに統合する理想的な方法です。カラー チャンネルごとに個別のグレースケール テクスチャ値を保持し、マテリアルですぐに個別のチャンネルを抽出することができます。これは最適化のメリットとして、とても優れています。

レンダリング チームと緊密に協力して、最終的な調整やバランスの修正をマテリアルとテクスチャに対して行い、値が範囲内にあることや、彼らがまとめた最初のシーンに忠実であることを確認しました。

結論として、私たちの成功基準を満たすことのできる完結型システムの構築という目標は、UI マテリアルを活用しなければ実際には不可能だったでしょう。最初からそれは明らかで、唯一の問題は、オーディオ入力を有意義で動的なビジュアル エクスペリエンスに変換する方法でした。

私にとって UI マテリアル パイプラインが UMG にもたらす柔軟性は、見逃すことのできないものです。これは信じられないほど強力かつ万能で、この 5 年間ほぼずっと、UI 開発において幅広く使用してきました。