Una experiencia digital de patrimonio cultural impulsada por Unreal Engine y el ecosistema de Epic
Jinyoung Choi
3 de abril de 2024
El Technology Research Institute for Culture & Heritage (Instituto Tecnológico de Investigación para la Cultura y el Patrimonio) es una organización encargada de preservar digitalmente el patrimonio global (que incluye el patrimonio cultural, el patrimonio cultural intangible, el patrimonio natural y el patrimonio futuro) para la creación de contenido interactivo. El TRIC contribuye a la preservación del patrimonio auténtico de tres formas: aumentando su accesibilidad, permitiendo su redescubrimiento y fomentando su valor.
Para conocer el pasado de un país, solo hace falta mirar a su patrimonio cultural. Cuando hablamos de patrimonio, nos referimos a la forma en que se conserva la identidad cultural y la historia a través del tiempo, en el presente y en el futuro. En Corea del Sur se exportaron cerca de 230 000 recursos culturales de forma legal o controvertida, si bien se están intentando recuperar para llevarlos de nuevo al país.
Entre estos esfuerzos se encuentra la idea del intercambio digital, una iniciativa fomentada por el gobierno surcoreano para aprovechar la tecnología digital y los equipos tecnológicos y sustituir el complejo proceso de repatriación física.
Gracias al intercambio digital, las obras de arte coreanas albergadas en museos de otros países podrán exponerse en su país de origen en forma de precisas réplicas digitales de los objetos originales. El contenido 3D interactivo se desarrolla a partir de la réplica digital, lo que genera experiencias atractivas y realistas para el espectador.
El primer proyecto que abanderó esta idea fue el Digital Homecoming Project for the Korean Cultural Assets (Proyecto de Repatriación Digital de Recursos Culturales Coreanos), del Museo de Arte de Cleveland (CMA). Con el objetivo de conocer más en detalle esta propuesta, hemos entrevistado a Kim Jikio, CEO del Technology Research Institute for Culture & Heritage (TRIC) y responsable del proyecto del CMA para llevar de nuevo a Corea del Sur los recursos culturales del país.
Entre estos esfuerzos se encuentra la idea del intercambio digital, una iniciativa fomentada por el gobierno surcoreano para aprovechar la tecnología digital y los equipos tecnológicos y sustituir el complejo proceso de repatriación física.
Gracias al intercambio digital, las obras de arte coreanas albergadas en museos de otros países podrán exponerse en su país de origen en forma de precisas réplicas digitales de los objetos originales. El contenido 3D interactivo se desarrolla a partir de la réplica digital, lo que genera experiencias atractivas y realistas para el espectador.
El primer proyecto que abanderó esta idea fue el Digital Homecoming Project for the Korean Cultural Assets (Proyecto de Repatriación Digital de Recursos Culturales Coreanos), del Museo de Arte de Cleveland (CMA). Con el objetivo de conocer más en detalle esta propuesta, hemos entrevistado a Kim Jikio, CEO del Technology Research Institute for Culture & Heritage (TRIC) y responsable del proyecto del CMA para llevar de nuevo a Corea del Sur los recursos culturales del país.
¿Podrías hablarnos de TRIC y del Digital Homecoming Project for the Korean Cultural Assets del CMA?
TRIC es una organización que da una nueva vida a la cultura y al patrimonio a través de la tecnología digital, el I+D y otras empresas relacionadas. En los últimos diez años, TRIC se ha encargado de desarrollar archivos y contenido para los principales conservadores de patrimonio internacional en lugares como Indonesia, Laos, Turquía, Kazajistán, Japón y Egipto, con el objetivo de hacerlo accesible a todo el mundo. Más recientemente, gracias al desarrollo de flujos de trabajo de contenido de tiempo real, hemos colaborado con el proyecto del Museo de Arte de Cleveland a través de Unreal Engine.
Algunos de los proyectos liderados por el TRIC
El Digital Homecoming Project for the Korean Cultural Assets del CMA es un proyecto de colaboración internacional que se expondrá de forma simultánea en Corea del Sur y Estados Unidos a partir de marzo.
Estamos capturando datos digitales de escaneos en 3D de los recursos culturales de Corea del Sur que se conservan en el CMA y, a partir de ellos, generando contenido digital realista. El proyecto lleva tres años en marcha. En 2022, nuestro primer año al frente del proyecto, archivamos digitalmente 13 obras de arte coreanas del CMA. En 2023 seleccionamos el biombo del siglo XIX de la «Montaña de las siete joyas» o Seven Jeweled Mountain de entre esas obras por su idoneidad para una exposición a gran escala y comenzamos a producir contenido realista e inmersivo a partir de ella. Ahora, en el tercer año de proyecto, presentaremos los resultados de nuestro esfuerzo en una exposición que celebrará tanto en Corea del Sur como en Estados Unidos.
Estamos capturando datos digitales de escaneos en 3D de los recursos culturales de Corea del Sur que se conservan en el CMA y, a partir de ellos, generando contenido digital realista. El proyecto lleva tres años en marcha. En 2022, nuestro primer año al frente del proyecto, archivamos digitalmente 13 obras de arte coreanas del CMA. En 2023 seleccionamos el biombo del siglo XIX de la «Montaña de las siete joyas» o Seven Jeweled Mountain de entre esas obras por su idoneidad para una exposición a gran escala y comenzamos a producir contenido realista e inmersivo a partir de ella. Ahora, en el tercer año de proyecto, presentaremos los resultados de nuestro esfuerzo en una exposición que celebrará tanto en Corea del Sur como en Estados Unidos.
Digital Homecoming Project for the Korean Cultural Assets del CMA: Seven Jeweled Mountain
¿Por qué incorporasteis Unreal Engine en el proceso de trabajo de TRIC?
Un factor clave para el éxito de un proyecto de creación de contenido a partir de datos de objetos culturales es la posibilidad de trasladar la fidelidad de la obra original a la versión digital.
Sin embargo, a medida que las mallas y las texturas se vuelven más precisas, es inevitable que los datos ocupen más espacio. Sobre todo cuando intentas crear algo del estilo de una estructura de un edificio en lugar de una sola obra de arte. Por tanto, dedicamos un montón de recursos a aligerar y optimizar los datos.
Este proceso de optimización es esencial, puesto que el contenido interactivo de tiempo real se verá principalmente en RV o RA, además de en instalaciones físicas. Además, TRIC siempre ha considerado fundamental lograr una interacción fluida entre el espectador y la obra de arte mediante tecnología multimedia. Precisamente por eso usamos Unreal Engine, porque nos permite producir contenido en tiempo real manteniendo la calidad original con el mínimo esfuerzo.
Artefactos digitales de alta precisión creados con Unreal Engine
Lumen y Nanite permiten reflejar con muchísima calidad visual los detalles de los objetos en Unreal Engine 5. Además, aligeran el largo proceso de optimización que antes era necesario para la producción en tiempo real y permiten entregas más rápidas y de la calidad deseada con equipos más pequeños.
Asimismo, Unreal Engine ha acortado notablemente los procesos de trabajo de todos los proyectos de TRIC, incluidos aquellos con imágenes multiplanares que requieren cálculos y simulaciones complejas a partir de vídeos, imágenes anamórficas y desarrollo de contenido para formatos de salida nuevos.
Asimismo, Unreal Engine ha acortado notablemente los procesos de trabajo de todos los proyectos de TRIC, incluidos aquellos con imágenes multiplanares que requieren cálculos y simulaciones complejas a partir de vídeos, imágenes anamórficas y desarrollo de contenido para formatos de salida nuevos.
Uno de los proyectos anamórficos de TRIC
Cuéntanos cómo se llevó a cabo el proyecto.
El proceso del proyecto se divide en dos partes: primero escaneamos y digitalizamos los 13 objetos y a continuación producimos el contenido realista de «Seven Jeweled Mountain» o la Montaña de las siete joyas. Para la etapa de escaneo usamos principalmente RealityCapture y canalizamos parte del proceso a través de Unreal Engine para crear el contenido de la montaña.
Durante el primer año del proyecto, capturamos los datos digitales ultraprecisos de los 13 objetos coreanos conservados en el CMA, incluida la Montaña de las siete joyas. Para escanear en 3D de forma precisa, es necesario usar equipos profesionales, como escáneres de luz estructurada o LiDAR.
En este caso, sin embargo, dado que los objetos se encontraban en otro país, no era fácil llevar los equipos o crear un entorno de escaneo óptimo. Como alternativa, decidimos optar por un método de fotogrametría para capturar los datos mediante RealityCapture que solemos usar para producir conjuntos de datos en 3D para los espacios y objetos de los edificios donde conservamos las obras. Tomamos miles de fotos de todos los objetos y creamos recursos muy realistas, tanto en términos de mallas como de texturas, mediante RealityCapture. Por otro lado, también tengo que decir que RealityCapture nos resultó vital en la consecución del proyecto Charlottenburg Palace Ceramic Room con la ayuda de un fotógrafo de arquitectura de Berlín, a pesar de que la frontera alemana estaba cerrada por el COVID-19.
Comparación de 13 objetos escaneados: real (izquierda) / digital (derecha)
Durante el segundo año, cuando nos centramos en la producción del contenido realista, nos propusimos trasladar la obra original «Seven Jeweled Mountain», pintada sobre una especie de lienzo plegable, en tres pantallas digitales inmersivas para preservar el estilo artístico tradicional y generar una sensación de espacio tridimensional.
Con este objetivo en mente, creamos primero una enorme red de datos de gigapíxeles para ensamblar las miles de imágenes que conformaban cada una de las partes de la pantalla mediante un rotador de cámara; y después generamos capas independientes de cada objeto, gama de colores y nivel. Aquí usamos Unreal Engine para colocar todos los elementos en un espacio tridimensional y los grabamos para recrear la obra de arte en 2D original de la Montaña de las siete joyas como si fuera contenido 3D dinámico y espacial.
Con este objetivo en mente, creamos primero una enorme red de datos de gigapíxeles para ensamblar las miles de imágenes que conformaban cada una de las partes de la pantalla mediante un rotador de cámara; y después generamos capas independientes de cada objeto, gama de colores y nivel. Aquí usamos Unreal Engine para colocar todos los elementos en un espacio tridimensional y los grabamos para recrear la obra de arte en 2D original de la Montaña de las siete joyas como si fuera contenido 3D dinámico y espacial.
Superposición de una imagen plegable en 2D y reorganización en el espacio en 3D de Unreal Engine
Una de las partes más importantes a la hora de crear el efecto tridimensional es reflejar la pincelada en el contorno del personaje. Para ello, creamos un sombreador en el editor de materiales de Unreal Engine. Después, descargamos la textura de alta calidad estilo papel de Megascans, la modificamos y se la aplicamos al material de posprocesamiento del personaje.
Luego, añadimos la niebla con el complemento Niagara Fluids de Unreal Engine para aportar dinamismo a la obra. Niagara Fluids nos permitió generar una simulación que reacciona a otros objetos en tiempo real o controlar el tiempo deseado a través de Sequencer.
En este sentido, Niagara Fluids es más rápido que el método anterior, donde usábamos OpenVDB, y permite realizar modificaciones al instante. Para mostrar estos personajes y efectos de la mejor manera posible en una pantalla triple, tuvimos que procesar correctamente la animación con un rig de cámara que vinculara las tres cámaras en una sola. Después, renderizamos todos los vídeos de forma simultánea mediante Movie Render Queue, que permite renderizar tres cámaras situadas en Sequencer a la vez.
Luego, añadimos la niebla con el complemento Niagara Fluids de Unreal Engine para aportar dinamismo a la obra. Niagara Fluids nos permitió generar una simulación que reacciona a otros objetos en tiempo real o controlar el tiempo deseado a través de Sequencer.
En este sentido, Niagara Fluids es más rápido que el método anterior, donde usábamos OpenVDB, y permite realizar modificaciones al instante. Para mostrar estos personajes y efectos de la mejor manera posible en una pantalla triple, tuvimos que procesar correctamente la animación con un rig de cámara que vinculara las tres cámaras en una sola. Después, renderizamos todos los vídeos de forma simultánea mediante Movie Render Queue, que permite renderizar tres cámaras situadas en Sequencer a la vez.
Escena renderizada simultáneamente con tres cámaras
¿De qué manera os ayudaron Unreal Engine y el ecosistema de Epic Games para la elaboración del contenido realista de la Montaña de las siete joyas?
Para crear contenido a partir de recursos artísticos tradicionales coreanos como la Montaña de las siete joyas, es necesario ser coherente en términos estéticos y representar con total precisión el estilo oriental en todos los elementos y escenas.
Precisamente por eso es fundamental contar con una herramienta de producción que permita un control preciso en todas las etapas. En este sentido, Unreal Engine ofrece un entorno donde es posible gestionar los recursos de la composición con suma precisión a través de Niagara, Sequencer y otros sistemas, sin sacrificar calidad visual ni rendimiento.
Además, el Marketplace de Unreal Engine y Quixel Megascans proporcionan muchísimos recursos de sus inmensos catálogos para todo tipo de fenómenos naturales, como las nubes, la luna, la niebla y el viento. Y no solo eso, pues estos catálogos nos permiten reducir el tiempo empleado en completar las tareas, poniendo a nuestra disposición los materiales esenciales para generar la triple dimensión y mantener a la vez el estilo tradicional de los personajes de animación gracias a los rigs, los sombreadores en alta calidad y las texturas apropiadas para la textura original de los personajes.
Comparación de sombreador de líneas de pincel: opacidad 0.2 (izquierda) / opacidad 0.8 (derecha)
No obstante, por encima de todo, la tecnología clave del proyecto fue la renderización en tiempo real de Unreal Engine. Teníamos solo dos meses para desarrollar el contenido y se nos acababa el tiempo. En ese tiempo, teníamos que grabar con tres cámaras virtuales y renderizar con una resolución extremadamente alta para llevar el contenido a una pantalla inmersiva con tres pantallas en forma trapezoidal.
Dado que la ubicación del espectador y el ángulo de visión afectarían considerablemente a la sensación de inmersión, era necesario realizar ajustes repetitivos y detallados. Además de eso, necesitábamos unir en un mismo equipo de trabajo a profesionales de Corea del Sur y de Estados Unidos, por lo que todos los comentarios los teníamos que realizar a través de videollamadas.
Gracias a Unreal Engine, pudimos reducir el tiempo que dedicábamos a la comunicación en gran medida, y los distintos ajustes los realizábamos en tiempo real de una punta a otra del globo. Además, pudimos revisar y realizar el control de calidad del producto final en las etapas de producción, reduciendo al mínimo las posibilidades de errores de comunicación o el riesgo de tener que rehacer el trabajo.
Si lo hubiéramos hecho a la manera tradicional, habríamos tenido que dedicar buena parte de nuestro preciado tiempo a videollamadas. De hecho, aunque hubiéramos llegado a una conclusión, habría sido imposible terminar el proyecto en el tiempo establecido, por no hablar de la calidad.
Dado que la ubicación del espectador y el ángulo de visión afectarían considerablemente a la sensación de inmersión, era necesario realizar ajustes repetitivos y detallados. Además de eso, necesitábamos unir en un mismo equipo de trabajo a profesionales de Corea del Sur y de Estados Unidos, por lo que todos los comentarios los teníamos que realizar a través de videollamadas.
Gracias a Unreal Engine, pudimos reducir el tiempo que dedicábamos a la comunicación en gran medida, y los distintos ajustes los realizábamos en tiempo real de una punta a otra del globo. Además, pudimos revisar y realizar el control de calidad del producto final en las etapas de producción, reduciendo al mínimo las posibilidades de errores de comunicación o el riesgo de tener que rehacer el trabajo.
Si lo hubiéramos hecho a la manera tradicional, habríamos tenido que dedicar buena parte de nuestro preciado tiempo a videollamadas. De hecho, aunque hubiéramos llegado a una conclusión, habría sido imposible terminar el proyecto en el tiempo establecido, por no hablar de la calidad.
TRIC mantiene una videollamada con expertos internacionales
Háblanos de los objetivos y la dirección de TRIC para el futuro.
A corto plazo, estamos centrados en finalizar el Digital Homecoming Project for the Korean Cultural Assets del CMA y los proyectos del Egyptian Cultural Heritage Official Development Assistance (ODA).
No obstante, a largo plazo pretendemos crear un mundo de tiempo real para cada época de la historia. Como una especie de metaverso que conecte los numerosos conjuntos de datos y contenido de tiempo real que hemos ido recopilando en todos estos proyectos. Nos gustaría restaurar ciudades con un alto valor de conservación histórica en tres dimensiones mediante Unreal Engine y el ecosistema de Epic Games.
En esta línea, estamos trabajando en un proyecto para construir íntegramente la ciudad de Seorabeol (actual Gyeongju) en el siglo VIII mediante Unreal Engine. No obstante, crear una réplica digital de Seorabeol, la capital de Silla, que incluya el terreno y la vegetación propios de la zona generará un montón de datos para la arquitectura, las carreteras, la gente y los sucesos históricos, entre muchos otros aspectos, en una sola plataforma. Puede que también podamos actualizar la ciudad virtual como una excavación arqueológica y continuar la investigación. Además, también se podrá usar este entorno interactivo para crear escenas de películas o documentales con calidad fotorrealista al instante.
Mundo en tiempo real de Seorabeol: vista iluminada (izquierda) / visualización de triángulos de Nanite (derecha)
¡Hazte ya con Unreal Engine!
Consigue la herramienta de creación más abierta y avanzada del mundo.
Unreal Engine incluye todas las funciones y acceso ilimitado al código fuente, ¡listo para usar!
Unreal Engine incluye todas las funciones y acceso ilimitado al código fuente, ¡listo para usar!