Une expérience numérique patrimoniale et culturelle portée par l'Unreal Engine et l'écosystème Epic
Jinyoung Choi
3 avril 2024
L'Institut de recherche technologique pour la culture et le patrimoine (TRIC) travaille à la préservation d'œuvres patrimoniales du monde entier (notamment le patrimoine culturel, le patrimoine culturel immatériel, le patrimoine naturel et le patrimoine futur) ainsi qu'à leur exploitation au sein de contenu interactif. Le TRIC contribue à la préservation de patrimoine authentique dans le but d'augmenter son accessibilité, de faciliter sa redécouverte et de le mettre en valeur.
Chaque pays a besoin de son patrimoine culturel pour comprendre son passé. C'est lui qui porte l'histoire et l'identité d'une culture au présent comme au futur. En Corée du Sud, près de 230 000 œuvres culturelles ont été exportées légalement ou de façon polémique, mais diverses actions sont en cours pour les rapatrier.
L'idée du partage numérique fait partie de ces initiatives. Ainsi, un projet lancé par le gouvernement sud-coréen tire parti des technologies et du matériel du numérique pour remplacer le processus de rapatriement physique, qui s'avère souvent difficile.
Grâce au partage numérique, des œuvres coréennes détenues par des musées étrangers peuvent être exposées dans leur pays d'origine sous la forme d'une réplique numérique précise. Du contenu en 3D interactive est développé à partir de la réplique numérique, ce qui donne lieu à une expérience réaliste et attrayante pour le public.
Le Retour au pays numérique des œuvres culturelles coréennes du Cleveland Museum of Art (CMA) est le premier projet de la sorte. Pour en savoir plus, nous avons interrogé Kim Jikio, PDG de l'Institut de recherche technologique pour la culture et le patrimoine (TRIC), qui a dirigé le projet de diffusion numérique des œuvres culturelles coréennes depuis leur salle d'exposition au CMA.
L'idée du partage numérique fait partie de ces initiatives. Ainsi, un projet lancé par le gouvernement sud-coréen tire parti des technologies et du matériel du numérique pour remplacer le processus de rapatriement physique, qui s'avère souvent difficile.
Grâce au partage numérique, des œuvres coréennes détenues par des musées étrangers peuvent être exposées dans leur pays d'origine sous la forme d'une réplique numérique précise. Du contenu en 3D interactive est développé à partir de la réplique numérique, ce qui donne lieu à une expérience réaliste et attrayante pour le public.
Le Retour au pays numérique des œuvres culturelles coréennes du Cleveland Museum of Art (CMA) est le premier projet de la sorte. Pour en savoir plus, nous avons interrogé Kim Jikio, PDG de l'Institut de recherche technologique pour la culture et le patrimoine (TRIC), qui a dirigé le projet de diffusion numérique des œuvres culturelles coréennes depuis leur salle d'exposition au CMA.
Pouvez-vous nous parler du TRIC et du projet de Retour au pays numérique des œuvres culturelles coréennes du CMA ?
Le TRIC est une organisation qui donne une nouvelle vie à la culture et au patrimoine grâce aux technologies numériques, à la recherche et au développement ainsi qu'aux entreprises partenaires. Depuis dix ans, le TRIC développe des archives numériques et du contenu pour d'importants conservateurs de patrimoine dans le monde entier, notamment en Indonésie, au Laos, en Turquie, au Kazakhstan, au Japon et en Égypte. Ainsi, ces ressources sont accessibles au plus grand nombre. Récemment, grâce au développement de flux de production de contenu en temps réel, nous avons travaillé sur le projet du Cleveland Museum of Art avec un pipeline qui s'appuie sur l'Unreal Engine.
Plusieurs projets menés par le TRIC
Le Retour au pays numérique des œuvres culturelles coréennes du CMA est un projet collaboratif international qui sera exposé simultanément en Corée et aux États-Unis à partir du mois de mars.
Nous numérisons en 3D des œuvres culturelles coréennes exposées au CMA et nous produisons du contenu numérique réaliste à partir de ces données. Ce projet a commencé il y a trois ans. La première année, en 2022, nous avons numérisé 13 importants objets coréens au CMA. En 2023, nous avons sélectionné parmi ces œuvres la peinture du XIXe siècle "La Montagne aux sept joyaux". Composée de plusieurs panneaux, elle est adaptée à une exposition à grande échelle. Nous avons alors commencé la création de contenu immersif et réaliste à partir de cette œuvre d'art. Le projet est entré dans sa troisième année. Le résultat de notre travail acharné sera exposé simultanément en Corée et aux États-Unis.
Nous numérisons en 3D des œuvres culturelles coréennes exposées au CMA et nous produisons du contenu numérique réaliste à partir de ces données. Ce projet a commencé il y a trois ans. La première année, en 2022, nous avons numérisé 13 importants objets coréens au CMA. En 2023, nous avons sélectionné parmi ces œuvres la peinture du XIXe siècle "La Montagne aux sept joyaux". Composée de plusieurs panneaux, elle est adaptée à une exposition à grande échelle. Nous avons alors commencé la création de contenu immersif et réaliste à partir de cette œuvre d'art. Le projet est entré dans sa troisième année. Le résultat de notre travail acharné sera exposé simultanément en Corée et aux États-Unis.
Le projet de Retour au pays numérique des œuvres culturelles coréennes du CMA : la Montagne aux sept joyaux
Pour quelle raison avez-vous intégré l'Unreal Engine au pipeline du TRIC ?
Nous produisons du contenu à partir de données issues d'objets culturels. Pour qu'un tel projet réussisse, le réalisme de la réplique numérique doit être conforme à l'œuvre originale.
Cependant, la précision des maillages et des textures implique inévitablement une grande quantité de données, surtout quand on modélise tout un bâtiment plutôt qu'un simple objet. C'est pourquoi nous avons beaucoup travaillé pour alléger et optimiser les données.
Ce processus d'optimisation était nécessaire, car le contenu interactif en temps réel allait en premier lieu être visionné en VR ou en AR ainsi qu'au moyen d'installations physiques. La fluidité des interactions entre le public et les contenus multimédias artistiques a toujours été essentielle pour le TRIC. C'est pourquoi nous avons adopté l'Unreal Engine, grâce auquel peu de travail est nécessaire pour produire du contenu en temps réel en assurant un haut niveau de qualité.
Des œuvres numériques réalistes créées avec l'Unreal Engine
À l'aide de Lumen et de Nanite dans l'Unreal Engine 5, les détails des objets numérisés s'affichent avec une grande qualité visuelle. En outre, ces outils facilitent beaucoup le long processus d'optimisation auparavant nécessaire pour la production de contenu en temps réel. Même avec une équipe plus petite, nous obtenons plus vite la qualité souhaitée.
Par ailleurs, l'Unreal Engine a considérablement raccourci les pipelines pour tous les projets du TRIC, y compris les projets immersifs d'imagerie multiplanaire. En effet, ceux-ci impliquent des calculs et des simulations complexes à partir des vidéos de base, de l'imagerie anamorphique et du développement de contenu pour les nouveaux formats de sortie.
Par ailleurs, l'Unreal Engine a considérablement raccourci les pipelines pour tous les projets du TRIC, y compris les projets immersifs d'imagerie multiplanaire. En effet, ceux-ci impliquent des calculs et des simulations complexes à partir des vidéos de base, de l'imagerie anamorphique et du développement de contenu pour les nouveaux formats de sortie.
Un projet d'anamorphose du TRIC
Pouvez-vous décrire le pipeline du projet ?
Le processus du projet comporte deux parties : la numérisation des 13 objets et la production du contenu réaliste "La Montagne aux sept joyaux". Nous avons principalement utilisé RealityCapture pour l'étape de numérisation et le pipeline de création du contenu réaliste "La Montagne aux sept joyaux" a été développé grâce à l'Unreal Engine.
La première année, nous avons capturé les données des 13 œuvres coréennes exposées au CMA avec une très grande précision, notamment pour "La Montagne aux sept joyaux". Habituellement, la numérisation précise en 3D nécessite du matériel professionnel tel qu'un LiDAR ou un scanner à lumière structurée.
Cependant, comme les œuvres se situaient à l'étranger, il était difficile d'acheminer l'équipement ou de créer un environnement de numérisation optimal. C'est pourquoi nous avons exploité la photogrammétrie pour capturer les données grâce à RealityCapture. Nous nous en servons souvent dans la production d'ensembles de données pour les espaces et les objets situés au sein des bâtiments qui abritent les œuvres. À l'aide de RealityCapture, nous avons effectué des milliers de clichés de chaque objet et créé des ressources réalistes à la fois dans les maillages et dans les textures. Notons par ailleurs que RealityCapture a été essentiel dans la réalisation du projet de la salle des céramiques du Château de Charlottenburg. En effet, la frontière allemande était fermée à cause du COVID-19, mais nous avons pu travailler en collaboration avec un photographe architectural à Berlin.
Comparatif des 13 œuvres numérisées : (gauche) œuvres réelles / (droite) œuvres numériques
La deuxième année, dans la production du contenu réaliste, nous avons reproduit "La Montagne aux sept joyaux" originale. Il s'agit d'une peinture grand format sur des panneaux pliants. Nous l'avons répliquée sur un triple écran numérique immersif en préservant le style artistique traditionnel et en ajoutant une impression d'espace en trois dimensions.
Pour obtenir ce résultat, nous avons bâti un vaste réseau de données en gigapixels, qui relie les milliers d'images correspondant à chacun des panneaux. Pour ce faire, nous avons utilisé un appareil photo rotatif. Ensuite, nous avons créé des calques distincts pour chaque objet, chaque gamut de couleur et chaque niveau. Dans l'Unreal Engine, nous avons positionné tous les éléments dans l'espace tridimensionnel, puis nous les avons filmés pour recréer l'œuvre en 2D traditionnelle de "La Montagne aux sept joyaux" sous la forme d'un contenu dynamique spatial en 3D.
Pour obtenir ce résultat, nous avons bâti un vaste réseau de données en gigapixels, qui relie les milliers d'images correspondant à chacun des panneaux. Pour ce faire, nous avons utilisé un appareil photo rotatif. Ensuite, nous avons créé des calques distincts pour chaque objet, chaque gamut de couleur et chaque niveau. Dans l'Unreal Engine, nous avons positionné tous les éléments dans l'espace tridimensionnel, puis nous les avons filmés pour recréer l'œuvre en 2D traditionnelle de "La Montagne aux sept joyaux" sous la forme d'un contenu dynamique spatial en 3D.
Définition de calques pour un panneau en 2D, puis modification en 3D dans l'Unreal Engine
L'apparence des coups de pinceau autour des personnages joue beaucoup sur l'effet tridimensionnel. Nous avons créé un shader à l'aide de l'éditeur de matériau de l'Unreal Engine. La texture de haute qualité, semblable au papier, a été téléchargée depuis Megascans, modifiée, puis appliquée au matériau de post-traitement des personnages.
Le brouillard a été ajouté à l'aide du plug-in Niagara Fluids de l'Unreal Engine. Il apporte un certain dynamisme à l'œuvre. Grâce à Niagara Fluids, nous avons pu produire une simulation qui réagit aux autres objets en temps réel et contrôler la synchronisation avec Sequencer.
Niagara Fluids est plus rapide que notre ancienne méthode qui s'appuyait sur OpenVDB. Nous avons pu appliquer instantanément toutes nos modifications. Pour afficher ces magnifiques personnages et leurs effets sur un triple écran, nous avons efficacement traité les animations à l'aide de trois caméras unifiées en une seule. Le rendu de chaque vidéo a été effectué simultanément grâce à Movie Render Queue, capable de traiter cette opération pour trois caméras à la fois dans Sequencer.
Le brouillard a été ajouté à l'aide du plug-in Niagara Fluids de l'Unreal Engine. Il apporte un certain dynamisme à l'œuvre. Grâce à Niagara Fluids, nous avons pu produire une simulation qui réagit aux autres objets en temps réel et contrôler la synchronisation avec Sequencer.
Niagara Fluids est plus rapide que notre ancienne méthode qui s'appuyait sur OpenVDB. Nous avons pu appliquer instantanément toutes nos modifications. Pour afficher ces magnifiques personnages et leurs effets sur un triple écran, nous avons efficacement traité les animations à l'aide de trois caméras unifiées en une seule. Le rendu de chaque vidéo a été effectué simultanément grâce à Movie Render Queue, capable de traiter cette opération pour trois caméras à la fois dans Sequencer.
Le rendu simultané d'une scène avec trois caméras
En quoi l'écosystème Epic Games et l'Unreal Engine vous ont-ils été utiles dans la création du contenu réaliste de "La Montagne aux sept joyaux" ?
Le contenu qui exploite des ressources artistiques traditionnelles coréennes telles que "La Montagne aux sept joyaux" nécessite un sens de l'esthétique cohérent. Le style pictural oriental doit être reproduit avec précision dans chaque objet et chaque scène.
Il est donc essentiel d'utiliser un outil de production qui permet un haut niveau de contrôle à chaque étape. L'Unreal Engine propose un environnement dans lequel nous contrôlons avec une grande précision les ressources de la composition, grâce à Niagara, Sequencer et d'autres systèmes, sans perdre en qualité visuelle ni en performance.
En outre, les vastes bibliothèques du Marché de l'Unreal Engine et de Quixel Megascans proposent de nombreuses ressources pour divers phénomènes naturels comme les nuages, la lune, le brouillard et le vent. Ces bibliothèques nous permettent aussi de réduire le temps de réalisation des tâches, car elles fournissent les principaux matériaux pour créer en 3D, mais dans le respect du style traditionnel, les squelettes des personnages à animer, les shaders en haute qualité ainsi que les textures correspondant aux personnages d'origine.
Comparatif des shaders de pinceau : (gauche) opacité 0.2 / (droite) opacité 0.8
Mais c'est surtout la technologie de rendu en temps réel de l'Unreal Engine qui a été décisive dans ce projet. Nous n'avions que deux mois pour développer le contenu. Le temps pressait. Dans ce délai, nous devions tourner avec trois caméras virtuelles et générer le rendu en très haute résolution afin de le diffuser sur un triple écran immersif au format trapézoïdal.
La position du public et son angle de vue avaient un effet important sur la sensation d'immersion. C'est pourquoi il a fallu répéter de nombreux réglages minutieux. Pour ce projet, des professionnels coréens et américains devaient travailler ensemble. Nous échangions des retours détaillés lors de visioconférences.
À l'aide de l'Unreal Engine, nous avons pu réduire remarquablement la durée de ces échanges, car nous pouvions effectuer les modifications en temps réel des deux côtés du globe. De plus, nous avons pu effectuer nos revues et nos contrôles qualité sur le produit final à chaque étape de la production. Ceci limitait les risques d'erreur de communication et le travail supplémentaire qui en aurait découlé.
Si nous avions travaillé de façon traditionnelle, nous aurions passé le plus clair de notre temps en visioconférence. Nous aurions peut-être mené le projet à son terme, mais certainement pas dans le temps imparti et avec le niveau de qualité souhaité.
La position du public et son angle de vue avaient un effet important sur la sensation d'immersion. C'est pourquoi il a fallu répéter de nombreux réglages minutieux. Pour ce projet, des professionnels coréens et américains devaient travailler ensemble. Nous échangions des retours détaillés lors de visioconférences.
À l'aide de l'Unreal Engine, nous avons pu réduire remarquablement la durée de ces échanges, car nous pouvions effectuer les modifications en temps réel des deux côtés du globe. De plus, nous avons pu effectuer nos revues et nos contrôles qualité sur le produit final à chaque étape de la production. Ceci limitait les risques d'erreur de communication et le travail supplémentaire qui en aurait découlé.
Si nous avions travaillé de façon traditionnelle, nous aurions passé le plus clair de notre temps en visioconférence. Nous aurions peut-être mené le projet à son terme, mais certainement pas dans le temps imparti et avec le niveau de qualité souhaité.
Le TRIC en visioconférence avec des experts à l'étranger
Pouvez-vous nous parler des prochains objectifs et projets du TRIC ?
À court terme, nous finalisons le projet de Retour au pays numérique des œuvres culturelles coréennes du CMA et le projet d'Assistance au développent officiel (ODA) du patrimoine culturel égyptien.
À plus long terme, nous ambitionnons de créer un monde en temps réel pour chaque époque historique. Il s'agit d'une sorte de métavers qui relie les nombreux ensembles de données et les contenus en temps réel que nous avons compilés au fil des projets. Avec l'aide de l'Unreal Engine et de l'écosystème Epic Games, nous aimerions recréer des villes en 3D avec un haut niveau de véracité historique.
Dans ce cadre, nous travaillons actuellement sur un projet visant à créer toute la ville de Seorabeol au VIIIe siècle (devenue Gyeongju) avec l'Unreal Engine. En créant une réplique numérique de Seorabeol, la capitale du royaume de Silla, avec ses sols, sa végétation, son architecture, ses routes, sa population et ses événements historiques, nous allons réunir une grande quantité de données sur une seule plateforme. Nous pourrons aussi actualiser la ville virtuelle au fil des découvertes archéologiques et de l'avancée de la recherche. Nous pourrons utiliser ce décor interactif pour créer instantanément une scène de film ou un documentaire photoréaliste.
Le monde de Seorabeol en temps réel : (gauche) visualisation en mode Lit / (droite) visualisation triangulaire Nanite
Obtenez l'Unreal Engine dès maintenant !
Procurez-vous l'outil de création le plus ouvert et le plus avancé au monde.
L'Unreal Engine est prêt à l'emploi, avec toutes les fonctionnalités et un accès complet au code source.
L'Unreal Engine est prêt à l'emploi, avec toutes les fonctionnalités et un accès complet au code source.