Kulturelles Erbe digital erleben mit der Unreal Engine und dem Epic-Ökosystem
Jinyoung Choi
3. April 2024
Das Technology Research Institute for Culture & Heritage (TRIC) ist ein Unternehmen für die digitale Konservierung von Kulturgütern auf der ganzen Welt (einschließlich Kulturerbstücke, immaterielles Kulturerbe, Naturerbstätten und Zukunftserbe) und ihrer Verwendung für interaktive Inhalte. TRIC trägt zur Konservierung des authentischen Kulturerbes bei, indem es die Zugänglichkeit verbessert, Entdeckung neuer Facetten der Stücke ermöglicht und den Wert der Stücke besser hervorhebt.
Das kulturelle Erbe eines Landes ist ein wichtiger Baustein, um die Vergangenheit zu verstehen. Es bewahrt die Geschichte und kulturelle Identität in der Gegenwart für die Zukunft. Aus Südkorea wurden circa 230.000 Kulturgüter unrechtmäßig oder unter kontroversen Vorwänden außer Landes gebracht. Heute gibt es verschiedene Bemühungen, um diese Kulturgüter wieder in das Land zurückzuführen.
Ein solches Unterfangen ist die gemeinsame digitale Verwendung dieser Kulturgüter. Auf Initiative der südkoreanischen Regierung kommen verschiedene digitale Technologien und Geräte zum Einsatz, um den komplizierten und schwierigen tatsächlichen Rückführungsprozess zu ersetzen.
Durch das gemeinsame digitale Verwenden können koreanische Kunstwerke in ausländischen Museen ausgestellt und gleichzeitig in der Heimat als präzise digitale Kopien des Originals gezeigt werden. Basierend auf den digitalen Nachbildungen werden auch interaktive 3D-Inhalte erstellt, die den Betrachtern ein realistisches und fesselndes Erlebnis bieten.
Das erste Projekt unter dem Banner der gemeinsamen digitalen Verwendung war das „Digital Homecoming Project“ für koreanische Kulturgüter im Cleveland Museum of Art (CMA). Für tiefere Einblicke in den Prozess haben wir uns mit Kim Jikio, CEO des Technology Research Institute for Culture & Heritage (TRIC), unterhalten. Er leitete das Projekt zur digitalen Rückführung koreanischer Kulturgüter aus dem CMA.
Ein solches Unterfangen ist die gemeinsame digitale Verwendung dieser Kulturgüter. Auf Initiative der südkoreanischen Regierung kommen verschiedene digitale Technologien und Geräte zum Einsatz, um den komplizierten und schwierigen tatsächlichen Rückführungsprozess zu ersetzen.
Durch das gemeinsame digitale Verwenden können koreanische Kunstwerke in ausländischen Museen ausgestellt und gleichzeitig in der Heimat als präzise digitale Kopien des Originals gezeigt werden. Basierend auf den digitalen Nachbildungen werden auch interaktive 3D-Inhalte erstellt, die den Betrachtern ein realistisches und fesselndes Erlebnis bieten.
Das erste Projekt unter dem Banner der gemeinsamen digitalen Verwendung war das „Digital Homecoming Project“ für koreanische Kulturgüter im Cleveland Museum of Art (CMA). Für tiefere Einblicke in den Prozess haben wir uns mit Kim Jikio, CEO des Technology Research Institute for Culture & Heritage (TRIC), unterhalten. Er leitete das Projekt zur digitalen Rückführung koreanischer Kulturgüter aus dem CMA.
Können Sie uns noch etwas mehr über TRIC und das „Digital Homecoming Project“ von koreanischen Kulturgütern im CMA erzählen?
TRIC ist ein Unternehmen, das der Kultur und dem kulturellen Erbe mittels digitaler Technologien, Forschung und Entwicklung und damit einhergehender Verfahren neues Leben einhaucht. In den letzten zehn Jahren hat TRIC digitale Archive und Inhalte für bedeutende internationale Kulturerbe-Kuratoren unter anderem in Indonesien, Laos, Türkei, Kasachstan, Japan und Ägypten erstellt, um dieses kulturelle Erbe der ganzen Welt zugänglich zu machen. In jüngster Zeit konnten wir dank der Entwicklung von Workflows für Echtzeit-Inhalte zusammen mit dem Cleveland Museum of Art an diesem Projekt arbeiten, das nur dank der Pipeline in der Unreal Engine möglich war.
Eine Projektauswahl von TRIC
Das „Digital Homecoming Project“ für koreanische Kulturgüter im CMA ist eine internationale Kooperation, die ab März gleichzeitig in Südkorea und den USA zu sehen sein wird.
Wir erfassen mit 3D-Scans digitale Daten koreanischer Kulturgüter, die im CMA ausgestellt sind, und erstellen daraus realistische digitale Inhalte. Dieses Projekt läuft nun schon seit drei Jahren. Im Jahr 2022, dem ersten Projektjahr, archivierten wir 13 bedeutende koreanische Artefakte des CMA auf digitale Weise. Im Jahr 2023 wählten wir aus dieser Artefaktsammlung das Kunstwerk „Seven Jeweled Mountain“ aus, weil es sich sehr gut für großformatige Ausstellungsleinwände eignete. Wir begannen dann mit der Produktion der immersiven, realistischen Inhalte auf Basis dieses Kunstwerks. Nun läuft das dritte Jahr des Projekts. Die Ergebnisse unserer harten Arbeit sind jetzt in einer simultanen Ausstellung der Artefakte in Südkorea und den USA zu besichtigen.
Wir erfassen mit 3D-Scans digitale Daten koreanischer Kulturgüter, die im CMA ausgestellt sind, und erstellen daraus realistische digitale Inhalte. Dieses Projekt läuft nun schon seit drei Jahren. Im Jahr 2022, dem ersten Projektjahr, archivierten wir 13 bedeutende koreanische Artefakte des CMA auf digitale Weise. Im Jahr 2023 wählten wir aus dieser Artefaktsammlung das Kunstwerk „Seven Jeweled Mountain“ aus, weil es sich sehr gut für großformatige Ausstellungsleinwände eignete. Wir begannen dann mit der Produktion der immersiven, realistischen Inhalte auf Basis dieses Kunstwerks. Nun läuft das dritte Jahr des Projekts. Die Ergebnisse unserer harten Arbeit sind jetzt in einer simultanen Ausstellung der Artefakte in Südkorea und den USA zu besichtigen.
„Digital Homecoming Project“ für koreanische Kulturgüter im CMA: Seven Jeweled Mountains
Warum haben Sie sich für Unreal Engine für die TRIC-Pipeline entschieden?
Ein maßgeblicher Faktor für den Erfolg eines solchen Projekts, bei dem aus Daten von kulturellen Artefakten neue Inhalte erstellt werden, ist die detailgetreue digitale Nachbildung der Originalwerke.
Da die Meshs und Texturen immer präziser werden müssen, nimmt auch die dafür benötigte Datenmenge stark zu. Das ist insbesondere eine Herausforderung bei der Nachbildung ganzer Gebäudestrukturen anstatt eines einzelnen Kunstwerks. Wir haben deswegen viel Aufwand betrieben, um die Datenmenge zu begrenzen und zu optimieren.
Der Optimierungsprozess war nötig, denn interaktive Echtzeit-Inhalte werden vorrangig in VR oder AR sowie in physischen Installationen betrachtet. Für TRIC hat die reibungslose Interaktion zwischen Betrachtern und Kunstwerken durch Medientechnologien schon immer den höchsten Stellenwert. Aus dem Grund haben wir die Unreal Engine verwendet. Sie kann ohne großen Aufwand wunderbare Echtzeit-Inhalte erstellen und gleichzeitig die nötige Qualität für die Werke erreichen.
Hochpräzise digitale Artefakte erstellt in Unreal Engine
Mit Lumen und Nanite aus der Unreal Engine 5 können feinste Details digitalisierter Artefakt in extrem guter visueller Qualität dargestellt werden. Die Werkzeuge verringern auch die Belastung durch langatmige Optimierungsprozesse, die bisher bei der Echtzeit-Produktion üblich waren. So können Projekte auch von kleinen Teams schneller in der gewünschten Qualität geliefert werden.
Weiterhin konnte die Unreal Engine die Pipelines für alle TRIC-Projekt spürbar verkürzen, darunter auch von multi-planaren, immersiven Bildgebungsprozessen, für die komplexe Berechnungen und Simulation basierend auf Videodaten, anamorphen Bildern und Inhaltsentwicklung für neue Wiedergabeformate nötig sind.
Weiterhin konnte die Unreal Engine die Pipelines für alle TRIC-Projekt spürbar verkürzen, darunter auch von multi-planaren, immersiven Bildgebungsprozessen, für die komplexe Berechnungen und Simulation basierend auf Videodaten, anamorphen Bildern und Inhaltsentwicklung für neue Wiedergabeformate nötig sind.
Eines der anamorphen Projekte von TRIC
Bitte erläutern Sie die verwendete Pipeline des Projekts.
Der Projektablauf besteht aus zwei Phasen: dem Scan und der Digitalisierung der 13 Artefakte und die Erschaffung einre realistischen Nachbildung des „Seven Jeweled Mountains“ (Sieben Juwelengipfel). Wir haben hauptsächlich RealityCapture für den Scan genutzt. Die Pipeline basierte auf der Unreal Engine und war darauf ausgelegt, eine realistische Abbildung der „Seven Jeweled Mountains“ zu erschaffen.
Im ersten Jahr des Projekts erfassten wir ultrapräzise digitale Daten der 13 koreanischen Artefakte im CMA, darunter auch das „Seven Jeweled Mountains“. Präzise 3D-Scans erfordern in der Regel professionelle Ausrüstung wie LiDAR- oder Streifenlichtscanner.
Da sich die Artefakte aber im Ausland befanden, gestaltete es sich schwierig, entsprechendes Gerät vor Ort zu nutzen oder eine optimale Scanumgebung zu schaffen. Wir setzten auf eine Alternative: Unser Team nutzte eine Fotogrammetriemethode, um die Daten mit RealityCapture zu erfassen. Dieses Verfahren nutzen wir häufiger zur Erstellung von 3D-Datensets für Räume und Objekte direkt am Ausstellungsort von Kunstwerken. Wir nahmen Tausende von Bildern von jedem Artefakt auf und erstellten basierend darauf mit RealityCapture detailgetreue Mesh- und Textur-Assets. Eine kleine Anekdote am Rande: RealityCapture war auch maßgeblich für das Projekt „Charlottenburg Palace Ceramic Room“. Nur dank der Anwendung konnte das Projekt gelingen, da Deutschland zu diesem Zeitpunkt im Covid-Lockdown war. Mit RealityCapture und einem professionellen Architekturfotografen vor Ort konnten wir die Aufnahmen trotzdem machen.
Vergleich der 13 gescannten Artefakte: Reale Assets (links), digitale Assets (rechts)
Bei der Produktion der realistischen digitalen Inhalte im zweiten Jahr beabsichtigten wir, das Originalkunstwerk „Seven Jeweled Mountains“, das auf einem faltbaren Wandbild gemalt war, auf drei digitale, immersive Leinwände zu übertragen. Wir wollten dabei einerseits den traditionellen Kunststil beibehalten, aber auch den dreidimensionalen Raum der Bilder besser hervorheben.
Dazu haben wir zuerst ein gewaltiges Gigapixel-Datennetzwerk geschaffen, dass die Tausenden von Aufnahmen von jeder Seite des faltbaren Stellbilds miteinander verbindet. Wir nutzen dafür einen Kamera-Rotator und erzeugten dann individuelle Ebenen für jedes Objekt, jeden Farbton und jede Ebene im Bild. Mit der Unreal Engine haben wir alle Elemente in einem dreidimensionalen Raum angeordnet und sie gefilmt, um das traditionelle 2D-Kunstwerk „Seven Jeweled Mountains“ als räumliches, dynamisches 3D-Gebilde nachzubilden.
Dazu haben wir zuerst ein gewaltiges Gigapixel-Datennetzwerk geschaffen, dass die Tausenden von Aufnahmen von jeder Seite des faltbaren Stellbilds miteinander verbindet. Wir nutzen dafür einen Kamera-Rotator und erzeugten dann individuelle Ebenen für jedes Objekt, jeden Farbton und jede Ebene im Bild. Mit der Unreal Engine haben wir alle Elemente in einem dreidimensionalen Raum angeordnet und sie gefilmt, um das traditionelle 2D-Kunstwerk „Seven Jeweled Mountains“ als räumliches, dynamisches 3D-Gebilde nachzubilden.
Ebenenerfassung eines 2D-Stellbilds und Neuanordnung im 3D-Raum mit der Unreal Engine
Einer der bedeutendsten Aspekte bei der Erstellung des dreidimensionalen Effekts war die detaillierte Nachbildung der Pinselstriche der Personenumrisse. Mit dem Material-Editor der Unreal Engine erstellten wir einen speziellen Shader. Die hochwertige Papiertextur luden wir uns von Megascans herunter, passten sie unseren Bedürfnissen an und wendeten sie auf das Nachbearbeitungsmaterial der Personen an.
Den Nebel erschufen wir mit dem Unreal Engine-Plugin Niagara Fluids, um dem Kunstwerk ein dynamisches Aussehen zu geben. Mit Niagara Fluids konnten wir eine Simulation erstellen, die auf andere Objekte in Echtzeit reagiert, oder den gewünschten zeitlichen Ablauf individuell mit Sequencer steuern.
Niagara Fluids ist nicht so komplex wie die bisherige Methode mit OpenVDB. Wir konnten so sämtliche Bearbeitungsschritte direkt vornehmen. Für die Darstellung der liebevoll gestalteten Charaktere und Effekte auf dem dreigeteilten Wandschirm wurden die Animationen mit einem Kamera-Rig verarbeitete, das drei Kameras in eine Kamera kombinierte. Jedes Video wurde gleichzeitig mit Movie Render Queue gerendert. Damit konnten wir die drei Kameras aus Sequencer zur gleichen Zeit rendern.
Den Nebel erschufen wir mit dem Unreal Engine-Plugin Niagara Fluids, um dem Kunstwerk ein dynamisches Aussehen zu geben. Mit Niagara Fluids konnten wir eine Simulation erstellen, die auf andere Objekte in Echtzeit reagiert, oder den gewünschten zeitlichen Ablauf individuell mit Sequencer steuern.
Niagara Fluids ist nicht so komplex wie die bisherige Methode mit OpenVDB. Wir konnten so sämtliche Bearbeitungsschritte direkt vornehmen. Für die Darstellung der liebevoll gestalteten Charaktere und Effekte auf dem dreigeteilten Wandschirm wurden die Animationen mit einem Kamera-Rig verarbeitete, das drei Kameras in eine Kamera kombinierte. Jedes Video wurde gleichzeitig mit Movie Render Queue gerendert. Damit konnten wir die drei Kameras aus Sequencer zur gleichen Zeit rendern.
Simultan gerenderte Szene mit drei Kameras
Wie haben Sie die Unreal Engine und das Epic Games-Ökosystem bei der realistischen Nachbildung der „Seven Jeweled Mountains“ unterstützt?
Traditionelle koreanische Kunstwerke wie die „Seven Jeweled Mountains“ erfordern eine ästhetische Gleichmäßigkeit und sollten den fernöstlichen Zeichenstil in allen Elementen und Szenen genau nachahmen.
Deswegen ist eine Produktionsanwendung, die eine präzise Steuerung ermöglicht, essenziell in allen Phasen. Unreal Engine bietet ein Arbeitsumfeld, in dem wir die Komposition von Assets mit Niagara, Sequencer und anderen Funktionen sehr genau steuern können. Gleichzeitig ist es uns möglich, die visuelle Qualität und Darstellung zu erhalten.
Mit dem Unreal Engine Marketplace und Quixel Megascans stehen uns auch umfangreiche Ressourcen und Datensammlungen zur Verfügung, um natürliche Phänomene wie Wolken, den Mond, Nebel und Wind nachzuahmen. Dank dieser Sammlungen können wir bei der Ausführung vieler Arbeitsschritte viel Zeit sparen, da sie uns wichtige Materialien für die Verwirklichung des dreidimensionalen, aber trotzdem traditionellen koreanischen Stils der geriggten Animationscharaktere boten und hochwertige Shaders und passende Texturen, die der Originaltextur des Kunstwerks nahekamen, liefern konnten.
Vergleich der Pinselstrich-Shaders: Deckkraft 0.2 (links), Deckkraft 0.8 (rechts)
Ein fundamentaler Aspekt des Projekts war aber das Echtzeit-Rendering der Unreal Engine. Wir hatten nur zwei Monate Zeit, um die Inhalte zu entwickeln, und uns lief die Zeit davon. Trotzdem mussten wir mit drei virtuellen Kameras filmen und in extrem hoher Auflösung rendern, um die Szenen auf großen Bildschirme darzustellen, die in einer Trapezanordnung aufgestellt waren.
Der Standort der Betrachter und ihr Blickwinkel hatten großen Einfluss auf die Immersion, weshalb viele kleine und detaillierte Anpassungen nötig waren. Bei dem Projekt mussten Profis aus Südkorea und den USA zusammenarbeiten, wofür wir detaillierte Rückmeldungen in Live-Konferenzgesprächen mitteilen und diskutieren mussten.
Mit der Unreal Engine konnten wir die nötige Zeit für solche Konferenzen signifikant reduzieren und Anpassungen zusammen in Echtzeit von weit entfernten Orten aus vornehmen. Weiterhin konnten wir das finale Produkt gemeinsam überprüfen und Qualitätschecks daran durchführen. Das senkte das Risiko von Kommunikationsfehlern und nachträglicher, aufwendiger Korrekturen.
Hätten wir die Arbeit auf traditionelle Weise durchgeführt, wäre ein beträchtlicher Teil unserer wertvollen Arbeitszeit an Konferenzgespräche verschwendet worden. Selbst, wenn wir Einigungen hätten erzielen können, wäre es nicht möglich gewesen, das Projekt in der kurzen Zeit und schon gar nicht in der nötigen Qualität fertigzustellen.
Der Standort der Betrachter und ihr Blickwinkel hatten großen Einfluss auf die Immersion, weshalb viele kleine und detaillierte Anpassungen nötig waren. Bei dem Projekt mussten Profis aus Südkorea und den USA zusammenarbeiten, wofür wir detaillierte Rückmeldungen in Live-Konferenzgesprächen mitteilen und diskutieren mussten.
Mit der Unreal Engine konnten wir die nötige Zeit für solche Konferenzen signifikant reduzieren und Anpassungen zusammen in Echtzeit von weit entfernten Orten aus vornehmen. Weiterhin konnten wir das finale Produkt gemeinsam überprüfen und Qualitätschecks daran durchführen. Das senkte das Risiko von Kommunikationsfehlern und nachträglicher, aufwendiger Korrekturen.
Hätten wir die Arbeit auf traditionelle Weise durchgeführt, wäre ein beträchtlicher Teil unserer wertvollen Arbeitszeit an Konferenzgespräche verschwendet worden. Selbst, wenn wir Einigungen hätten erzielen können, wäre es nicht möglich gewesen, das Projekt in der kurzen Zeit und schon gar nicht in der nötigen Qualität fertigzustellen.
TRIC bei einer Videokonferenz mit ausländischen Experten
Bitte erzählen Sie uns noch etwas über Ihre Zukunftspläne und weitere Projekte von TRIC.
Vorerst konzentrieren wir uns auf die erfolgreiche Vollendung des „Digital Homecoming Project“ koreanischer Kulturgüter im CMA und auf Projekte des ägyptischen Cultural Heritage Official Development Assistance (ODA).
Auf lange Sicht wollen wir eine Echtzeit-Welt für jede historische Ära erschaffen, die dem Metaverse nicht unähnlich ist. Dafür werden viele Datensets und Echtzeit-Inhalte aus unseren Projekten miteinander verknüpft. Wir möchten Städte von hohem historischen Erhaltungswert digital und dreidimensional wiederauferstehen lassen. Dabei werden uns die Unreal Engine und das Epic Games-Ökosystem sehr helfen.
Im Rahmen davon arbeiten wir mit der Unreal Engine an einem Projekt zur Rekonstruktion von Seorabeol (dem heutigen Gyeongju) aus dem 18. Jahrhundert. Die Erschaffung einer digitalen Nachbildung von Seorabeol, der Hauptstadt von Silla, einschließlich von Geländeformationen und der Vegetation, wird unglaublich viele Daten für die Architektur, Straßen, Menschen, historische Vorkommnisse und mehr in einer Plattform bereitstellen und bündeln. Wir können die virtuelle Stadt unter Umständen sogar nachträglich anpassen, wenn neue archäologische Erkenntnisse und Forschungsergebnisse bekannt werden. Es wird möglich sein, mit dieser interaktiven Umgebung sofort eine Szene für einen Film oder eine Dokumentation in fotorealistischer Qualität zu erstellen.
Seorabeol in einer Echtzeit-Welt: Beleuchteter Ansichtsmodus (links), Nanite-Dreieck-Visualisierung (rechts)
Sichern Sie sich die Unreal Engine noch heute!
Holen Sie sich das offenste und fortschrittlichste Erstellungswerkzeug der Welt.
Die Unreal Engine wird mit allen Funktionen und vollem Zugriff auf den Quellcode geliefert und ist sofort einsatzbereit.
Die Unreal Engine wird mit allen Funktionen und vollem Zugriff auf den Quellcode geliefert und ist sofort einsatzbereit.