Unreal Engine と Epic Games のエコシステムを活用した文化遺産のデジタル体験
Jinyoung Choi
2024年4月3日
Technology Research Institute for Culture & Heritage (TRIC) は、世界遺産 (文化遺産、無形文化遺産、自然遺産、未来遺産を含む) をデジタルで保存し、インタラクティブ コンテンツとして活用する法人です。TRIC は、文化遺産へのアクセシビリティを改善し、その再発見を実現し、価値を広めることで、本物の文化遺産の保護に貢献しています。
文化遺産は、自国のこれまでの歩みを理解するうえで欠かせない手段です。遺産は、歴史と文化的アイデンティティを現在から未来に残していく方法です。韓国では、約 23 万点もの文化財が合法的に、あるいは物議を醸しながら国外に流出しました。しかしながら、そういった文化財を帰韓させるためのさまざまな取り組みが行われています。
なかでも、デジタル シェアリングという考え方は、デジタル技術とデジタル機器を活用した韓国政府主導の取り組みであり、複雑かつ困難な実際の帰韓プロセスに代わる手段です。
デジタル シェアリングでは、海外の美術館に所蔵されている実物の韓国の文化財の、正確なデジタル レプリカを韓国で展示することができます。インタラクティブ 3D コンテンツは、デジタル レプリカに基づいて開発され、鑑賞者にリアルで魅力的な体験を提供します。
このアイデアに基づいて進められた最初のプロジェクトは、クリーブランド美術館 (CMA) の韓国文化財デジタル ホームカミング プロジェクトです。このプロジェクトの詳細について、CMA 所蔵の韓国の文化財のデジタル ホームカミング (帰韓) を果たしたこのプロジェクトを指揮した Technology Research Institute for Culture & Heritage (文化遺産技術研究所) (TRIC) の CEO、Kim Jikio 氏にお話しを伺いました。
なかでも、デジタル シェアリングという考え方は、デジタル技術とデジタル機器を活用した韓国政府主導の取り組みであり、複雑かつ困難な実際の帰韓プロセスに代わる手段です。
デジタル シェアリングでは、海外の美術館に所蔵されている実物の韓国の文化財の、正確なデジタル レプリカを韓国で展示することができます。インタラクティブ 3D コンテンツは、デジタル レプリカに基づいて開発され、鑑賞者にリアルで魅力的な体験を提供します。
このアイデアに基づいて進められた最初のプロジェクトは、クリーブランド美術館 (CMA) の韓国文化財デジタル ホームカミング プロジェクトです。このプロジェクトの詳細について、CMA 所蔵の韓国の文化財のデジタル ホームカミング (帰韓) を果たしたこのプロジェクトを指揮した Technology Research Institute for Culture & Heritage (文化遺産技術研究所) (TRIC) の CEO、Kim Jikio 氏にお話しを伺いました。
TRIC と CMA の韓国文化財デジタル ホームカミング プロジェクトについてお聞かせください。
TRIC は、デジタル技術、研究開発、および関連事業を通じて、文化遺産に新たな命を吹き込む法人です。過去 10 年以上にわたり、TRIC はインドネシア、ラオス、トルコ、カザフスタン、日本、エジプトなどの主要な世界遺産キュレーター向けにデジタル アーカイブやコンテンツを開発し、公開してきましました。最近では、リアルタイム コンテンツ ワークフローの開発により、Unreal Engine をベースとしたパイプラインで、クリーブランド美術館のプロジェクトに取り組んでいます。
TRIC による各種プロジェクト
CMA の韓国文化財デジタルホーム カミング プロジェクトは、3 月から韓国および米国で同時展示される国際共同プロジェクトです。
CMA が所蔵する韓国の文化財を 3D スキャンしてデジタル データを取り込み、それをもとにリアルなデジタル コンテンツを制作しています。このプロジェクトは 3 年間継続しています。プロジェクトの 1 年目の 2022 年には、CMA に所蔵されている韓国の主要な文化財 13 点のデジタル アーカイブを作成しました。2023 年には、それらの文化財の中から大規模な展示に適した 19 世紀の屏風「七宝山」を選択し、この作品に基づいた没入感溢れるリアルなコンテンツの制作を開始しました。現在、プロジェクトは 3 年目を迎え、その成果が韓国および米国で開催される展覧会で展示される予定です。
CMA が所蔵する韓国の文化財を 3D スキャンしてデジタル データを取り込み、それをもとにリアルなデジタル コンテンツを制作しています。このプロジェクトは 3 年間継続しています。プロジェクトの 1 年目の 2022 年には、CMA に所蔵されている韓国の主要な文化財 13 点のデジタル アーカイブを作成しました。2023 年には、それらの文化財の中から大規模な展示に適した 19 世紀の屏風「七宝山」を選択し、この作品に基づいた没入感溢れるリアルなコンテンツの制作を開始しました。現在、プロジェクトは 3 年目を迎え、その成果が韓国および米国で開催される展覧会で展示される予定です。
CMA における韓国文化財デジタル ホームカミング プロジェクト：七宝山
TRIC パイプラインに Unreal Engine を導入した理由をお聞かせください。
文化財データに基づくコンテンツ制作プロジェクトの成功に欠かせないのは、実物とデジタル版の忠実度を同等にすることです。
ただし、メッシュやテクスチャの精度が上がると、データが重くなるのは避けられません。特に、1 つの芸術作品ではなく、建物の構造などの要素を作成しようとする場合はなおさらです。そのため、これまではデータの軽量化と最適化に多くのリソースを投入していました。
リアルタイムのインタラクティブ コンテンツは、実際の展示だけでなく、主に VR や AR で鑑賞されるため、この最適化プロセスが必要でした。TRIC は、メディア テクノロジーを使用した鑑賞者と芸術作品とのシームレスなインタラクションが重要であると常に考えています。そのため、最小限の作業で品質を保持したまま、リアルタイム コンテンツを制作できる Unreal Engine を採用しました。
Unreal Engine で制作された高精度デジタル アーティファクト
Unreal Engine 5 の Lumen および Nanite を使用することで、デジタル化された文化財のディテールを高いビジュアル品質で表現することができます。また、こういったツールを使用することで、リアルタイム制作に必要であった長時間の最適化プロセスの負担が軽減され、より少人数のチームで目的の品質を短時間で実現することができます。
さらに、Unreal Engine により、ベースの映像からの複雑な計算やシミュレーションを必要とする没入型マルチプレーン画像処理、アナモルフィック画像処理、新しい出力フォーマット向けのコンテンツ開発など、TRIC プロジェクトのあらゆるパイプラインが大幅に短縮されました。
さらに、Unreal Engine により、ベースの映像からの複雑な計算やシミュレーションを必要とする没入型マルチプレーン画像処理、アナモルフィック画像処理、新しい出力フォーマット向けのコンテンツ開発など、TRIC プロジェクトのあらゆるパイプラインが大幅に短縮されました。
TRIC のアナモルフィック プロジェクトの 1 つ
プロジェクトに使用したパイプラインについて教えていただけますか？
本プロジェクトのプロセスは 2 つの部分に分かれています。13 点の文化財をスキャンしてデジタル化する作業と、リアルな「Seven Jeweled Mountain (七宝山)」のコンテンツを制作する作業です。スキャン段階では主に RealityCapture を使用し、リアルな「七宝山」のコンテンツの制作には Unreal Engine ベースのパイプラインを構築しました。
本プロジェクトの 1 年目には、CMA に所蔵されている「七宝山」をはじめとする 13 点の韓国の文化財の超精細デジタル データをキャプチャしました。通常、精細な 3D スキャンを行うには、LiDAR や構造化光スキャナーなどの専門的な機器を使用する必要があります。
ただし、今回は文化財が海外に所蔵されていたため、機器の搬入や最適なスキャン環境の構築が困難でした。それに代わる手段として、フォトグラメトリ手法で RealityCapture を活用してデータをキャプチャしました。RealityCapture を何度も使用して、芸術品を収蔵する建物内の空間やオブジェクトの 3D データセットを作成したのです。RealityCapture を使用して、各文化財について数千枚の画像を撮影し、メッシュとテクスチャの両方で忠実度の高いアセットを作成しました。ちなみに、RealityCapture は、COVID-19 によりドイツ国境が閉鎖されていたにもかかわらず、ベルリンの建築写真家と共同でシャルロッテンブルク宮殿の磁器の間プロジェクトを完成させるうえでも重要な役割を果たしました。
スキャンした 13 点の文化財の比較：(左) 実物/(右) デジタル アセット
2 年目に実施したリアル コンテンツの制作では、横長の屏風に描かれた「七宝山」の実物を、伝統的な画風を保ちつつ、立体的な空間の感覚を加えながら、没入感のあるデジタル 3 つの画面に変換することを目指しました。
これを実現するために、まずカメラのローテーターを使用して、屏風の各面を構成する何千もの画像をつなぐ膨大なギガピクセル データのネットワークを構築し、次にオブジェクト、色域、レベルごとに個別のレイヤーを作成しました。Unreal Engine を使用してすべての要素を 3D 空間に配置し、撮影することで、「七宝山」の伝統的な 2D の芸術品を、空間的でダイナミックな 3D コンテンツとして再現しました。
これを実現するために、まずカメラのローテーターを使用して、屏風の各面を構成する何千もの画像をつなぐ膨大なギガピクセル データのネットワークを構築し、次にオブジェクト、色域、レベルごとに個別のレイヤーを作成しました。Unreal Engine を使用してすべての要素を 3D 空間に配置し、撮影することで、「七宝山」の伝統的な 2D の芸術品を、空間的でダイナミックな 3D コンテンツとして再現しました。
2D の屏風の画像をレイヤー化し、Unreal Engine で 3D 空間に再配置する
立体感を出すうえで重要なのが、各要素の輪郭を筆で表現することです。私たちは、Unreal Engine の マテリアル エディタを使用してシェーダーを作成しました。紙のような高品質のテクスチャは Megascans からダウンロードし、編集した後に、各要素のポストプロセス マテリアルに適用しました。
フォグは、Unreal Engine の Niagara Fluids プラグインを使用して追加し、この作品にダイナミックな雰囲気を追加しました。Niagara Fluid を使用することで、他のオブジェクトにリアルタイムに反応するシミュレーションを作成したり、シーケンサーで目的のタイミングを制御したりできました。
Niagara Fluids は、OpenVDB を導入する以前の方法より軽量で、必要な編集を即座に実行することができました。これらの適切に作成された要素やエフェクトを三面スクリーンに表示するために、3 台のカメラを 1 つにバイントするカメラ リグを使用してアニメーションを効果的に処理しました。各映像は ムービー レンダー キューを使用して同時にレンダリングしました。ムービー レンダー キューを使用することで、シーケンサーに配置された 3 つのカメラから同時にレンダリングを行うことができます。
フォグは、Unreal Engine の Niagara Fluids プラグインを使用して追加し、この作品にダイナミックな雰囲気を追加しました。Niagara Fluid を使用することで、他のオブジェクトにリアルタイムに反応するシミュレーションを作成したり、シーケンサーで目的のタイミングを制御したりできました。
Niagara Fluids は、OpenVDB を導入する以前の方法より軽量で、必要な編集を即座に実行することができました。これらの適切に作成された要素やエフェクトを三面スクリーンに表示するために、3 台のカメラを 1 つにバイントするカメラ リグを使用してアニメーションを効果的に処理しました。各映像は ムービー レンダー キューを使用して同時にレンダリングしました。ムービー レンダー キューを使用することで、シーケンサーに配置された 3 つのカメラから同時にレンダリングを行うことができます。
3 つのカメラで同時にレンダリングされたシーン
リアルな「七宝山」コンテンツの制作において、Unreal Engine と Epic Games のエコシステムはどのように役立ったのでしょうか？
「七宝山」をはじめとする韓国の伝統的な芸術品を使用するコンテンツでは、美意識の一貫性が求められ、すべての要素やシーンを通じて東洋画のスタイルを正確に表現する必要があります。
そのため、すべての段階において精密にコントロールできる制作ツールが欠かせません。Unreal Engine が提供する環境では、Niagara やシーケンサーなどのシステムを使用して、ビジュアルの品質とパフォーマンスの両方を保持しながら、合成アセットを細部に至るまで精緻にコントロールできます。
さらに、Unreal Engine マーケットプレイスや Quixel Megascans では、雲、月、霧、風などさまざまな自然現象の膨大なライブラリの幅広いリソースを利用できます。このようなライブラリでは、立体的でありながら伝統的なスタイルのリギングされたアニメーション キャラクターを実現するために不可欠なマテリアルや、質の高いシェーダー、キャラクター本来の質感に適したテクスチャなども提供されており、作業時間の短縮につながっています。
ブラシ ライン シェーダーの比較：(左) オパシティ 0.2 / (右) オパシティ 0.8
何より、Unreal Engine のリアルタイム レンダリングは、このプロジェクトの基盤となる技術でした。コンテンツの開発期間は 2 か月しかなく、時間が足りない状態でした。その間、3 つのバーチャル カメラで撮影し、非常に高い解像度でレンダリングして、台形に配置された 3 つのスクリーンで没入型のスクリーンにコンテンツを映し出す必要がありましました。
オーディエンスの位置や画角が没入感に大きく影響するため、細かい調整を重ねました。このプロジェクトでは、韓国および米国のプロフェッショナルが共同で作業を行う必要があったため、ライブのビデオ会議を通じて詳細なフィードバックを伝える必要がありましました。
Unreal Engine を使用することで、そのコミュニケーション時間を大幅に短縮し、地球の反対側にいるもの同士が一緒にリアルタイムに調整を行うことができましました。さらに、制作段階で最終的な成果物を確認し、品質をチェックすることができたので、コミュニケーションの行き違いが発生する可能性や、やり直しのリスクを最小限に抑えることができました。
従来の方法で制作していたとしたら、貴重な時間のほとんどをビデオ会議に費やしていたでしょう。結論に達したとしても、要求される品質の達成だけでなく、決められた時間内での完成も不可能であったと思います。
オーディエンスの位置や画角が没入感に大きく影響するため、細かい調整を重ねました。このプロジェクトでは、韓国および米国のプロフェッショナルが共同で作業を行う必要があったため、ライブのビデオ会議を通じて詳細なフィードバックを伝える必要がありましました。
Unreal Engine を使用することで、そのコミュニケーション時間を大幅に短縮し、地球の反対側にいるもの同士が一緒にリアルタイムに調整を行うことができましました。さらに、制作段階で最終的な成果物を確認し、品質をチェックすることができたので、コミュニケーションの行き違いが発生する可能性や、やり直しのリスクを最小限に抑えることができました。
従来の方法で制作していたとしたら、貴重な時間のほとんどをビデオ会議に費やしていたでしょう。結論に達したとしても、要求される品質の達成だけでなく、決められた時間内での完成も不可能であったと思います。
国外の専門家とビデオ会議を行う TRIC
TRIC の今後の目標や方向性についてお聞かせください。
短期的な目標としては、CMA の韓国文化財デジタル ホームカミング プロジェクトとエジプト文化遺産公式 (ODA) プロジェクトを成功させることに注力していきます。
長期的には、これらのプロジェクトで蓄積した数多くのデータセットやリアルタイム コンテンツをつなげ、メタバースのような、時代ごとのリアルタイム ワールドの構築を目指しています。Unreal Engine と Epic Games のエコシステムを使用して、歴史的保存価値の高い都市を立体的に復元したいと考えています。
その一環として、Unreal Engine を使用して、8 世紀のソラボル (現在の慶州) 全体を構築するプロジェクトに取り組んでいます。新羅の都であったソラボルの地形や植生を含むデジタル レプリカを作成することで、建築、道、人物、歴史的事件などの膨大なデータを 1 つのプラットフォームで生成できます。また、考古学的な発掘や研究が進めば、仮想都市を更新することもできますこのインタラクティブな環境を使用して、映画やドキュメンタリーの 1 シーンをフォトリアルな品質で即座に作成することもできるでしょう。
ソラボル リアルタイム ワールド：(左) ライト ビュー モード / (右) Nanite トライアングルのビジュアライゼーション
TRIC のビジョンや最新のニュースは、Tric の Web サイト、Instagram、YouTube でご覧いただけます。
今すぐ Unreal Engine をダウンロードしましょう！
Unreal Engine は、世界で最もオープンで高度な制作ツールです。
あらゆる機能を備え、完全なソースコードにアクセスできる Unreal Engine を使用すれば、すぐに制作を開始できます。
あらゆる機能を備え、完全なソースコードにアクセスできる Unreal Engine を使用すれば、すぐに制作を開始できます。