Images courtesy of Digital Twin Cities Centre
見えないものを可視化する：現実世界と仮想世界の「音」
Ken Pimentel
2021年3月8日リアルタイム技術というと、『マンダロリアン』 の素晴らしい背景や フォトリアルなデジタルヒューマンなど、必然的にビジュアルを瞬時にレンダリングすることに関連付けられています。
Unreal Engine のようなゲームエンジンは、目に見えないエネルギーである「音」をシミュレートして可視化する強力なツールでもあります。この能力は、AEC業界にも興味深い形で応用できます。
多くのオーディオシミュレーションでは専用のツールを使用しており、結果を得るまでに何時間もかかります。パラメータを微調整すると何時間もかかる再処理が必要になることから、リアルタイム シミュレーションとは言えません。これは、レンダリングにおいて、オフラインのパストレーサーを使ってシーン内の光の跳ね返りを計算すると、1フレームあたり数分から数時間かかるのと似ています。
同様に、サウンドシミュレーターでは、音波が物質によってどのように反射したり屈折したりするのか計算します。これらのシミュレーターの結果を Unreal Engine に取り込み、エンジンのグラフィック機能とサウンド機能を使ってサウンドスケープを探ることができます。 Cundall は、現在 Unreal Engine の高度なサウンド機能を使ったリアルタイム シミュレーションに取り組んでいる企業のひとつです。
講義室で音声の聞き取りやすさを向上させる表面仕上げの違い、ホールでの音楽の聞こえ方、ショッピングモールに落ち着いた雰囲気をもたらすための仕上げの選択などを、リアルタイムのオーディオシミュレーションで表現できるようになる日もそう遠くないでしょう。
チャルマース工科大学が主催する Digital Twin Cities Centre (DTCC) では、研究者たちが目に見えないものを可視化することに関心を持っています。彼らにとって、音波の挙動を可視化することは、複雑なプロセスを強力なビジュアライゼーションの手法を用いて説明することで、都市計画プロセスの改善に役立つと考えています。
Unreal Engine のようなゲームエンジンは、目に見えないエネルギーである「音」をシミュレートして可視化する強力なツールでもあります。この能力は、AEC業界にも興味深い形で応用できます。
多くのオーディオシミュレーションでは専用のツールを使用しており、結果を得るまでに何時間もかかります。パラメータを微調整すると何時間もかかる再処理が必要になることから、リアルタイム シミュレーションとは言えません。これは、レンダリングにおいて、オフラインのパストレーサーを使ってシーン内の光の跳ね返りを計算すると、1フレームあたり数分から数時間かかるのと似ています。
同様に、サウンドシミュレーターでは、音波が物質によってどのように反射したり屈折したりするのか計算します。これらのシミュレーターの結果を Unreal Engine に取り込み、エンジンのグラフィック機能とサウンド機能を使ってサウンドスケープを探ることができます。 Cundall は、現在 Unreal Engine の高度なサウンド機能を使ったリアルタイム シミュレーションに取り組んでいる企業のひとつです。
講義室で音声の聞き取りやすさを向上させる表面仕上げの違い、ホールでの音楽の聞こえ方、ショッピングモールに落ち着いた雰囲気をもたらすための仕上げの選択などを、リアルタイムのオーディオシミュレーションで表現できるようになる日もそう遠くないでしょう。
チャルマース工科大学が主催する Digital Twin Cities Centre (DTCC) では、研究者たちが目に見えないものを可視化することに関心を持っています。彼らにとって、音波の挙動を可視化することは、複雑なプロセスを強力なビジュアライゼーションの手法を用いて説明することで、都市計画プロセスの改善に役立つと考えています。
現実世界の音響のためのリアルタイム技術
Cundall は、住宅、医療、航空など、幅広い分野でエンジニアリングサービスを提供するグローバルなコンサルタント会社です。提供するサービスは、土木工学、スマートビルディング、サステナビリティ、音響工学などを広範囲にわたります。
Image courtesy of ©Tim Cornbill (Left) / Image courtesy of ©Mark Forrer (Right)
Andrew Parkin 氏は、同社のパートナーであり、音響部門のグローバルヘッドです。音響コンサルタントとしての彼の役割は、多くの場合、まだ建設されていない、あるいは改装されていない空間で、クライアントやステークホルダーが音の挙動を理解できるようにすることです。「建物の設計プロセスにおいて音響予測の精度を最適化することで、クライアントの期待と現実とのギャップを最小限に抑えることができます。ゲームエンジンはこの点において重要な役割を果たします」と Parkin 氏は述べています。
Cundall が空間を設計する際には、内部の仕上げから部屋の形状に至るまで、様々なアドバイスを行います。Cundall の提案が正当であることを示すためには、クライアントや関係者がその背後にある理由を理解する必要があります。
残響時間の数値などの技術的なデータに基づいた提案は、音響の専門家や特別な知識を持った一般の人以外にはほとんど意味がありません。その代わりに、体験的な方法で伝えることができれば、完全なエンゲージメントへ向けての大きな一歩となります。
そこで登場するのが、Cundall のリアルタイム体験型システム、Virtual Acoustic Reality（VAR）です。音声をシミュレートする同社のオリジナルシステムは、音声予測にCATT Acoustic、ウォークスルーに CATT-Walker プラグイン、フロントエンドのグラフィックスにゲームエンジン、ビジュアルアウトに Oculus Rift を使用し、音声には高品質のサウンドカードとノイズキャンセリングヘッドフォンを使用しています。
Cundall が空間を設計する際には、内部の仕上げから部屋の形状に至るまで、様々なアドバイスを行います。Cundall の提案が正当であることを示すためには、クライアントや関係者がその背後にある理由を理解する必要があります。
残響時間の数値などの技術的なデータに基づいた提案は、音響の専門家や特別な知識を持った一般の人以外にはほとんど意味がありません。その代わりに、体験的な方法で伝えることができれば、完全なエンゲージメントへ向けての大きな一歩となります。
そこで登場するのが、Cundall のリアルタイム体験型システム、Virtual Acoustic Reality（VAR）です。音声をシミュレートする同社のオリジナルシステムは、音声予測にCATT Acoustic、ウォークスルーに CATT-Walker プラグイン、フロントエンドのグラフィックスにゲームエンジン、ビジュアルアウトに Oculus Rift を使用し、音声には高品質のサウンドカードとノイズキャンセリングヘッドフォンを使用しています。
このシステムが生成するオーディオシミュレーションの精度は高いものの、扱いにくく、低速で、非常にプロセッサを消費します。また、システムは設定された内部仕上げに基づいてスペースの事前分析を必要とします。設計に変更が加えられるたびに、モデルをオフラインにして再計算する必要があり、これには多大な時間と労力がかかります。コンサルティングの世界では、時は金なりです。
これは、最終的なデザインのプレゼンテーションには適していますが、変更が頻繁に行われ、様々なオプションを迅速に検討して判断しなければならない反復的なデザインプロセスには適していません。これらの変更がどのように聞こえるかを、ダイナミックで正確な方法で確認することができれば、デザインとエンゲージメントのプロセスを大きく向上させることができます。
ただし、ダイナミック オーディオ シミュレーションは非常に複雑であるため、現時点ではリアルタイムで正確にシミュレーションを実行することはできません。そのため、プリベイクする必要があります。 Cundall は、従来の音響モデリングソフトウェアからよりゲーム性の高いソリューションに移行することで、プロセスを合理化し、より多くのことをリアルタイムで行えるようにすることで、プロセッサの使用を最適化したいと考えています。
最終的な目標は、可能な限りプロプライエタリ・ソフトウェアの精度に近いリアルタイムシミュレーションを実現することです。プリベイキングは最小限、もしくはゼロにし、その場で変更したら、現在のように最大24時間後ではなく、瞬時に結果を得られるようにすることです。
Cundall 社このことを念頭に置いて Unreal Engine をベースにした新しい更新システムを試しています。Parkin 氏は次のように述べています。「システムを効率化して、Unreal Engine という単一のプラットフォームを使用することで、より迅速で安定したシステムを実現することが理想です。」
これは、最終的なデザインのプレゼンテーションには適していますが、変更が頻繁に行われ、様々なオプションを迅速に検討して判断しなければならない反復的なデザインプロセスには適していません。これらの変更がどのように聞こえるかを、ダイナミックで正確な方法で確認することができれば、デザインとエンゲージメントのプロセスを大きく向上させることができます。
ただし、ダイナミック オーディオ シミュレーションは非常に複雑であるため、現時点ではリアルタイムで正確にシミュレーションを実行することはできません。そのため、プリベイクする必要があります。 Cundall は、従来の音響モデリングソフトウェアからよりゲーム性の高いソリューションに移行することで、プロセスを合理化し、より多くのことをリアルタイムで行えるようにすることで、プロセッサの使用を最適化したいと考えています。
最終的な目標は、可能な限りプロプライエタリ・ソフトウェアの精度に近いリアルタイムシミュレーションを実現することです。プリベイキングは最小限、もしくはゼロにし、その場で変更したら、現在のように最大24時間後ではなく、瞬時に結果を得られるようにすることです。
Cundall 社このことを念頭に置いて Unreal Engine をベースにした新しい更新システムを試しています。Parkin 氏は次のように述べています。「システムを効率化して、Unreal Engine という単一のプラットフォームを使用することで、より迅速で安定したシステムを実現することが理想です。」
Cundall が Unreal Engine に触れるきっかけとなったのは、Unreal マーケットプレイス でした。 「マーケットプレイスは、私たちをビジネスとして”アンリアル”な世界に導いた刺激的な要素であり、最初はサードパーティのプラグインを利用して、VAR システムの開発のためのエンジンの可能性を研究していました」と Parkin 氏は説明します。
コンピュータプログラマーというより音響の専門家として、 Parkin 氏のチームは、ブループリント ビジュアル スクリプティング システムによって、一般的にプログラマーのみが使用できるコンセプトやツールを、事実上すべて使用することができました。「ブループリントのビジュアルスクリプティングシステムは、インタラクティブなコンテンツを作成する仕組みを理解する上で、非常に直感的であることがわかりました。これは、コーディングの経験がない我々のような音響コンサルタントにとって、特に重要なことです。」
Cundall は、音響シミュレーションのプラットフォームとして Unreal Engine を使用した実験を開始したばかりです。初期のテストでは速度とパフォーマンスに大きなメリットが見られましたが、従来のシステムで達成されていた精度に達するには、さらなる作業が必要でした。Parkin 氏は次のように述べています。「私たちの最終的な目標は、設計段階で建物や部屋の中ので音がどのように聞こえるか正確に再現する建物のバーチャル モデルを手にすることです。ボタンを押すと、内部の仕上げや部屋の形状が変わり、それに応じて音響条件も瞬時に変化するようになれば最高ですね。」
音を可視化して都市計画に役立てる
リアルタイム技術は、室内空間の音を評価するだけでなく、屋外環境における音波の挙動を可視化するためにも利用できます。
Images courtesy of Digital Twin Cities Centre
スウェーデンの Digital Twin Cities Centre（DTCC）は、スマートシティ研究の最先端を行く機関のひとつです。AEC 業界を含め、様々な業界で幅広いアプリケーションを可能にするツールや手法の開発に力を入れています。データは、Unreal Engine上に構築された Digital Twin City Platformで視覚化されます。
DTCC チームが分析しているデータの一つに「音」があります。「音は目に見えないものなので、このように可視化することで、利害関係者が音環境に関する潜在的な問題を理解することを助け、プランナーが都市計画の過程で利用することができます」と、DTCC のデザインリーダーである Fabio Latino 氏は述べています。
DTCC チームが分析しているデータの一つに「音」があります。「音は目に見えないものなので、このように可視化することで、利害関係者が音環境に関する潜在的な問題を理解することを助け、プランナーが都市計画の過程で利用することができます」と、DTCC のデザインリーダーである Fabio Latino 氏は述べています。
音の挙動は、都市空間の設計を考える際に最初に思い浮かぶものではないかもしれませんが、音響は将来的に、より良い都市環境の構築に大きな役割を果たす可能性があります。「音響は私たちの健康や福祉に影響を与えますが、都市開発者にとっての優先順位は低く、多くの場合は、その影響も十分に理解されていません」と Latino 氏は説明します。
都市計画に携わるステークホルダーとの会話の中で、さまざまな交通ソリューションが都市のサウンドスケープにどのような影響を与えるかを視覚化することができれば、そのソリューションが環境や人間の健康にどのような影響を与えるかを理解するのに役立ちます。その結果、より良いデザインの決定につながります。
Images courtesy of Digital Twin Cities Centre
Sanjay Somanath 氏は、Chalmers University of Technology の博士課程に在籍しています。Somanath 氏は、ネイバーフッド・プラニング向けのデジタル ツールの開発を研究しており、DTCC では GIS データを Unreal Engine で処理しています。「さまざまな都市シナリオのノイズ分析データを可視化することが目標です」と Somanath 氏は述べています。「ランドスケープマテリアルの中にカスタム マテリアル パイプラインを作成し、カラー スケールとテクスチャを取り入れ、その2Dデータを Unreal Engine 内のデジタルツイン モデルに視覚化しました。」
研究者たちはいくつかの選択肢を検討した結果、リアルタイム プラットフォームとして Unreal Engine を選択しました。DTCC のリード デベロッパーである Vasilis Naserentin 氏は次のように述べています。「Unreal Engine が提供する最先端の技術的機能に加えて、Epic は、このソフトウェアを AEC 業界のニーズに応える独自のエコシステムにすべく労力を費やしてきました。私たちはAECの研究と開発のインターフェースになっているため、両方の世界に対応できることは非常に重要です。」
Cundallと同様、Chalmers University of Technology の研究者もブループリントを活用しています。このビジュアルスクリプトシステムは、彼らが構築したさまざまなシステム間の接着剤の役割を果たし、それらのシステムが相互に通信できるようにします。DTCC の Unreal Engine 開発者である Orfeas Eleftheriou 氏は、「すぐに、開発時間をかけずに、新しいアイデアを試したり、顧客により良い情報を伝えるためのプロトタイプを開発することができるようになりました」と説明します。
Images courtesy of Digital Twin Cities Centre
また、建築設計に使用される様々なツールを Unreal Engine がサポートしている点も魅力的でした。 Datasmithを使用することで、さまざまな種類やソースのデータを迅速かつ簡単にインポートすることができました。「Datasmith を使用することでさまざまな種類のデータの処理方法を気にすることなく、エクスペリエンスの構築に集中することができました」と Eleftheriou 氏は語ります。
高解像度のスクリーンショットやビデオをすぐにレンダリングできることは、 研究者にとっては、研究結果をいち早く発表できるという点でアピールしました。「シーケンサーは私たちのプロジェクトで重要な役割を果たしています」とEleftheriou 氏は認めています。「ツールの精度をテストしたり、さまざまな機能を紹介したい場合、高解像度のビデオをレンダリングできることにより、様々なレベルの専門知識を持つ人たちとより円滑なコミュニケーションをとることができました。」
最後に、リアルタイム技術によって、DTCC はアイデアのプロトタイプ作成とイテレーションを迅速に行うことができます。Chalmers University of Technology の准教授兼上級研究員である Beata Stahre Wästberg 氏は、「インタラクティブな環境のアイデアを描くための初期設計ツールとして、主に静止画像を使用してきました」と語ります。「Unreal Engine のおかげで、設計プロセスの初期段階でインタラクティブな要素を盛り込むことができ、アイデアを発展させ、より効果的にする助けとなりました。」
彼らのような先駆者たちが、聴覚体験を生み出すリアルタイム技術の可能性をさらに追求していくことで、将来的には、より没入感のある仮想世界や、より優れたデザインの都市空間を目にすることができるようになるでしょう。
高解像度のスクリーンショットやビデオをすぐにレンダリングできることは、 研究者にとっては、研究結果をいち早く発表できるという点でアピールしました。「シーケンサーは私たちのプロジェクトで重要な役割を果たしています」とEleftheriou 氏は認めています。「ツールの精度をテストしたり、さまざまな機能を紹介したい場合、高解像度のビデオをレンダリングできることにより、様々なレベルの専門知識を持つ人たちとより円滑なコミュニケーションをとることができました。」
最後に、リアルタイム技術によって、DTCC はアイデアのプロトタイプ作成とイテレーションを迅速に行うことができます。Chalmers University of Technology の准教授兼上級研究員である Beata Stahre Wästberg 氏は、「インタラクティブな環境のアイデアを描くための初期設計ツールとして、主に静止画像を使用してきました」と語ります。「Unreal Engine のおかげで、設計プロセスの初期段階でインタラクティブな要素を盛り込むことができ、アイデアを発展させ、より効果的にする助けとなりました。」
未来の聴覚体験を向上させる
CundallとChalmers University of Technology の DTCCは、サウンド シミュレーションとビジュアライゼーションの最先端を行く2つの組織です。彼らの研究は、リアルタイム技術がいかに仮想世界への没入感を高め、現実世界での聴覚体験を向上させる強力なツールとなりえるかを示しています。彼らのような先駆者たちが、聴覚体験を生み出すリアルタイム技術の可能性をさらに追求していくことで、将来的には、より没入感のある仮想世界や、より優れたデザインの都市空間を目にすることができるようになるでしょう。
Unreal Engine を今すぐ入手しましょう！
世界で最もオープンで先進的な制作ツールを手に入れてください。
Unreal Engine は、すべての機能とソースコードへの完全なアクセスが可能なため、満載の機能がすぐに使える状態で入手できます。
Unreal Engine は、すべての機能とソースコードへの完全なアクセスが可能なため、満載の機能がすぐに使える状態で入手できます。