Uma experiência digital de patrimônio cultural desenvolvida pela Unreal Engine e pelo ecossistema da Epic
Jinyoung Choi
3 de abril de 2024
Technology Research Institute for Culture & Heritage (TRIC) é uma empresa que preserva digitalmente artefatos patrimoniais do mundo todo (incluindo patrimônio cultural, patrimônio cultural imaterial, patrimônio natural e patrimônio futuro) e os utiliza de maneira interativa. O TRIC contribui para a preservação do patrimônio autêntico: aumentando a acessibilidade a ele, permitindo sua redescoberta e promovendo seu valor.
O patrimônio cultural é importante para que um país compreenda seu passado. O patrimônio assegura que a história e a identidade cultural serão mantidas no presente e no futuro. Na Coreia do Sul, aproximadamente 230.000 itens culturais foram exportados, alguns de forma legal e outros sob circunstâncias duvidosas. Contudo, diversas iniciativas estão em curso para repatriá-los.
Entre esses esforços está o conceito do compartilhamento digital, uma iniciativa liderada pelo governo sul-coreano que aproveita tecnologia e equipamentos digitais para substituir o complicado e difícil processo de repatriação física.
Com o compartilhamento digital, as obras de arte coreanas armazenadas em museus no exterior podem ser exibidas em seu país de origem como uma réplica digital precisa do artefato. São desenvolvidos conteúdos 3D interativos com base na réplica digital, fornecendo uma experiência realista e envolvente para os espectadores.
O primeiro projeto sob esta bandeira foi o Digital Homecoming Project para o Korean Cultural Assets no Cleveland Museum of Art (CMA). Para obter mais informações sobre o projeto, entrevistamos Kim Jikio, CEO do Technology Research Institute for Culture & Heritage (TRIC), responsável por liderar a repatriação digital dos itens culturais coreanos do CMA.
Entre esses esforços está o conceito do compartilhamento digital, uma iniciativa liderada pelo governo sul-coreano que aproveita tecnologia e equipamentos digitais para substituir o complicado e difícil processo de repatriação física.
Com o compartilhamento digital, as obras de arte coreanas armazenadas em museus no exterior podem ser exibidas em seu país de origem como uma réplica digital precisa do artefato. São desenvolvidos conteúdos 3D interativos com base na réplica digital, fornecendo uma experiência realista e envolvente para os espectadores.
O primeiro projeto sob esta bandeira foi o Digital Homecoming Project para o Korean Cultural Assets no Cleveland Museum of Art (CMA). Para obter mais informações sobre o projeto, entrevistamos Kim Jikio, CEO do Technology Research Institute for Culture & Heritage (TRIC), responsável por liderar a repatriação digital dos itens culturais coreanos do CMA.
Você poderia falar sobre o TRIC e o Digital Homecoming Project para o Korean Cultural Assets no CMA?
O TRIC é uma empresa que traz fôlego à cultura e ao patrimônio através de tecnologia digital, pesquisa e desenvolvimento e empresas relacionadas. Nos últimos dez anos, o TRIC vem desenvolvendo arquivos digitais e conteúdo para os principais curadores de patrimônio global em lugares como Indonésia, Laos, Turquia, Cazaquistão, Japão e Egito e os disponibiliza a todos. Recentemente, graças ao desenvolvimento de conteúdos em tempo real de fluxos de trabalho, temos trabalhado no projeto do Museu de Arte de Cleveland com um pipeline criado na Unreal Engine.
Vários projetos realizados pelo TRIC
O Digital Homecoming Project para o Korean Cultural Assets no CMA é um projeto de colaboração internacional que será exibido simultaneamente na Coreia e nos EUA a partir de março.
Estamos capturando dados de digitalizações em 3D dos itens do Korean Cultural Assets mantidos pelo CMA e produzindo conteúdo digital realista com base nesses dados. O projeto está em produção há três anos. No primeiro ano do projeto, em 2022, arquivamos digitalmente 13 artefatos coreanos importantes do CMA. Em 2023, selecionamos a tela dobrável do século XIX, a "Montanha das Sete Joias" entre esses artefatos com base em sua adequação para exibição em grande escala, e começamos a produzir conteúdo imersivo e realista a partir da obra. Agora que o projeto está em seu terceiro ano, os resultados do nosso trabalho árduo serão exibidos numa exposição que ocorrerá na Coreia e nos EUA.
Estamos capturando dados de digitalizações em 3D dos itens do Korean Cultural Assets mantidos pelo CMA e produzindo conteúdo digital realista com base nesses dados. O projeto está em produção há três anos. No primeiro ano do projeto, em 2022, arquivamos digitalmente 13 artefatos coreanos importantes do CMA. Em 2023, selecionamos a tela dobrável do século XIX, a "Montanha das Sete Joias" entre esses artefatos com base em sua adequação para exibição em grande escala, e começamos a produzir conteúdo imersivo e realista a partir da obra. Agora que o projeto está em seu terceiro ano, os resultados do nosso trabalho árduo serão exibidos numa exposição que ocorrerá na Coreia e nos EUA.
Digital Homecoming Project para o Korean Cultural Assets no CMA: Montanha de Sete Joias
Por que você incluiu a Unreal Engine no pipeline do TRIC?
Um fator fundamental para o sucesso de um projeto de produção de conteúdo baseado em dados de artefatos culturais é a capacidade de obter uma versão digital fidedigna à obra de arte original.
No entanto, à medida que a malha e a textura ficam mais precisas, é inevitável que os dados fiquem mais pesados, principalmente se tentarmos criar algo como uma estrutura de edifício em vez de uma única obra de arte. Por isso, costumávamos usar muitos recursos para tornar os dados mais leves e otimizá-los.
Esse processo de otimização foi necessário porque o conteúdo interativo em tempo real será visualizado predominantemente em RV ou RA, além de instalações físicas. O TRIC sempre considerou fundamental a interação perfeita entre o público e a arte através das tecnologias de mídia. Por isso adotamos a Unreal Engine, que é capaz de produzir conteúdo em tempo real ao mesmo tempo em que preserva a qualidade como ela é, com o mínimo de trabalho.
Artefatos digitais de alta precisão criados com a Unreal Engine.
Usando o Lumen e o Nanite na Unreal Engine 5, os detalhes do artefato digitalizado podem ser representados com alta qualidade visual. Essas ferramentas também reduzem a carga do longo processo de otimização que costumava ser necessária para a produção em tempo real e permitem uma entrega mais rápida da qualidade desejada e com uma equipe menor.
Além disso, a Unreal Engine reduziu consideravelmente os pipelines de todos os projetos do TRIC, inclusive os de imagens imersivas multiplanares que exigem cálculos e simulações complexos dos vídeos de base, imagens anamórficas e desenvolvimento de conteúdo para novos formatos de saída.
Além disso, a Unreal Engine reduziu consideravelmente os pipelines de todos os projetos do TRIC, inclusive os de imagens imersivas multiplanares que exigem cálculos e simulações complexos dos vídeos de base, imagens anamórficas e desenvolvimento de conteúdo para novos formatos de saída.
Um dos projetos anamórficos do TRIC
Informe-nos sobre o pipeline usado no projeto.
O processo do projeto é dividido em duas partes: escaneamento e digitalização dos 13 artefatos e produção do conteúdo realista da "Montanha das Sete Joias". Usamos mais o RealityCapture para o estágio de escaneamento, e o pipeline baseado na Unreal Engine foi desenvolvido para criar o conteúdo realista da "Montanha das Sete Joias".
No primeiro ano do projeto, capturamos dados digitais ultraprecisos dos 13 artefatos coreanos armazenados no CMA, incluindo a "Montanha das Sete Joias". A rigorosa digitalização 3D costuma exigir o uso de equipamentos profissionais, como o LiDAR ou sensores de luz estruturada.
No entanto, como os artefatos estavam no exterior nesse caso, seria mais difícil levar o equipamento ou criar um ambiente de digitalização ideal. Como alternativa, utilizamos um método fotogramétrico para colher dados através do RealityCapture. Contamos frequentemente com ele para produzir conjuntos de dados 3D para espaços e objetos nas instalações que armazenam as obras de arte. Tiramos milhares de fotos de cada artefato e criamos ativos de alta-fidelidade, tanto em malha quanto em textura, usando o RealityCapture. Além disso, o RealityCapture também foi essencial para concluir o projeto do Gabinete de Porcelana do Palácio de Charlottenburg, quando a fronteira alemã estava fechada devido à COVID-19. O projeto foi realizado em colaboração com um fotógrafo de arquitetura em Berlim.
Comparação dos 13 artefatos digitalizados: (Esquerda) Ativos reais / (Direita) Ativos digitais
Na produção do conteúdo realista que foi realizado no segundo ano, nosso objetivo foi replicar a obra de arte original "Montanha das Sete Joias", que é pintada numa ampla tela dobrável, em três telas digitais imersivas, preservando o estilo de arte tradicional e acrescentando a sensação de espaço tridimensional.
Para realizá-lo, primeiro construímos uma imensa rede de dados, de gigapixels, conectando as milhares de imagens que compunham cada lado da tela usando um rotador de câmera. Em seguida, criamos camadas separadas para cada objeto, gama de cores e níveis. Usamos a Unreal Engine para posicionar todos os elementos num espaço tridimensional e os filmamos para recriar a tradicional obra 2D "Montanha das Sete Joias" como um conteúdo 3D dinâmico e espacial.
Para realizá-lo, primeiro construímos uma imensa rede de dados, de gigapixels, conectando as milhares de imagens que compunham cada lado da tela usando um rotador de câmera. Em seguida, criamos camadas separadas para cada objeto, gama de cores e níveis. Usamos a Unreal Engine para posicionar todos os elementos num espaço tridimensional e os filmamos para recriar a tradicional obra 2D "Montanha das Sete Joias" como um conteúdo 3D dinâmico e espacial.
Colocamos imagens 2D dobráveis em camadas e as reorganizamos em um espaço 3D na Unreal Engine.
Uma das partes mais importantes na criação do efeito tridimensional foi representar a pincelada do contorno do personagem. Criamos um shader usando o Editor de Material da Unreal Engine. A textura de alta qualidade com aparência de papel foi baixada do Megascans, modificada e aplicada ao material de pós-processamento do personagem.
A neblina foi adicionada usando o plugin Niagara Fluids da Unreal Engine para dar uma sensação de dinamismo à obra de arte. O Niagara Fluid nos permitiu produzir uma simulação que reage a outros objetos em tempo real, ou controla um tempo predefinido através do Sequencer.
O Niagara Fluids é mais leve do que o método usado anteriormente, do OpenVDB. Além disso, todas as edições necessárias podem ser feitas instantaneamente. Para exibir esses personagens e efeitos bem elaborados numa tela tripla, a animação foi processada com eficiência através de um rig de câmera que uniu três câmeras em uma. Cada vídeo foi renderizado simultaneamente usando o Movie Render Queue, permitindo a renderização das três câmeras ao mesmo tempo no Sequencer.
A neblina foi adicionada usando o plugin Niagara Fluids da Unreal Engine para dar uma sensação de dinamismo à obra de arte. O Niagara Fluid nos permitiu produzir uma simulação que reage a outros objetos em tempo real, ou controla um tempo predefinido através do Sequencer.
O Niagara Fluids é mais leve do que o método usado anteriormente, do OpenVDB. Além disso, todas as edições necessárias podem ser feitas instantaneamente. Para exibir esses personagens e efeitos bem elaborados numa tela tripla, a animação foi processada com eficiência através de um rig de câmera que uniu três câmeras em uma. Cada vídeo foi renderizado simultaneamente usando o Movie Render Queue, permitindo a renderização das três câmeras ao mesmo tempo no Sequencer.
Cena renderizada com três câmeras em simultâneo.
Como a Unreal Engine e o ecossistema da Epic Games foram úteis na criação do conteúdo realista da "Montanha das Sete Joias"?
O conteúdo que usa recursos tradicionais da arte coreana, como a "Montanha das Sete Joias", exige consistência no senso estético e deve representar com rigorosidade o estilo oriental de pintura em todos os seus elementos e cenas.
Por isso, ter uma ferramenta de produção que permita um controle minucioso em todos os estágios é fundamental. A Unreal Engine oferece um ambiente em que podemos controlar os ativos da composição com precisão rigorosa através do Niagara, do Sequencer e de outros sistemas, ao mesmo tempo em que preserva a qualidade visual e o desempenho.
Além disso, a Loja da Unreal Engine e o Quixel Megascans oferecem uma série de recursos de suas fartas bibliotecas para vários fenômenos naturais, como nuvens, lua, neblina e vento. Essas bibliotecas também nos ajudam a reduzir o tempo necessário para concluir tarefas, fornecendo materiais fundamentais para a concretização do estilo tridimensional, porém tradicional, do rig dos personagens de animação, dos shaders de alta qualidade e das texturas adequados à textura original dos personagens.
Comparação do shader de linha do pincel: (Esquerda) Opacidade 0,2 / (Direita) Opacidade 0,8
Acima de tudo, a renderização em tempo real na Unreal Engine foi a tecnologia que embasou esse projeto. Tínhamos apenas dois meses para desenvolver o conteúdo e estávamos ficando sem tempo. Enquanto isso, tivemos que filmar com três câmeras virtuais e renderizar numa resolução extremamente alta, inserindo o conteúdo numa tela imersiva com três telas posicionadas em formato trapezoidal.
Como a posição do público e o ângulo de visão afetariam significativamente a sensação de imersão, foram necessários ajustes repetitivos e minuciosos. Como o projeto exigia que profissionais da Coreia e dos EUA trabalhassem juntos, tivemos que transmitir feedbacks detalhados através de teleconferências ao vivo.
Com a Unreal Engine, conseguimos reduzir consideravelmente esse tempo de comunicação, fazendo juntos ajustes em tempo real, porém de lugares opostos no mundo. Além disso, pudemos revisar e verificar a qualidade do produto final nos estágios de produção, minimizando as chances de falhas de comunicação e de risco de refazer o trabalho.
Se optássemos pelo método convencional, grande parte do nosso valioso tempo seria consumido por teleconferências. Mesmo que tivéssemos chegado a uma conclusão, teria sido impossível terminar o projeto dentro do prazo, e isso sem falar na qualidade exigida.
Como a posição do público e o ângulo de visão afetariam significativamente a sensação de imersão, foram necessários ajustes repetitivos e minuciosos. Como o projeto exigia que profissionais da Coreia e dos EUA trabalhassem juntos, tivemos que transmitir feedbacks detalhados através de teleconferências ao vivo.
Com a Unreal Engine, conseguimos reduzir consideravelmente esse tempo de comunicação, fazendo juntos ajustes em tempo real, porém de lugares opostos no mundo. Além disso, pudemos revisar e verificar a qualidade do produto final nos estágios de produção, minimizando as chances de falhas de comunicação e de risco de refazer o trabalho.
Se optássemos pelo método convencional, grande parte do nosso valioso tempo seria consumido por teleconferências. Mesmo que tivéssemos chegado a uma conclusão, teria sido impossível terminar o projeto dentro do prazo, e isso sem falar na qualidade exigida.
TRIC realiza uma teleconferência com especialistas estrangeiros
Conte-nos sobre as metas futuras e os rumos do TRIC.
Em termos de metas de curto prazo, estamos nos concentrando em concluir com sucesso o Digital Homecoming Project para o Korean Cultural Assets no CMA e o projetos de Official Development Assistance (ODA) do Patrimônio Cultural Egípcio.
A nossa visão de longo prazo é desenvolver um metaverso que represente cada momento histórico em tempo real, conectando vastos conjuntos de dados e conteúdos atualizados que acumulamos em diversos projetos. Gostaríamos de restaurar cidades que possuem um valor de preservação histórica alto de forma tridimensional e através da Unreal Engine e do ecossistema da Epic Games.
Como parte desse esforço, estamos trabalhando num projeto para recriar completamente a Seorabeol do século VIII (atual Gyeongju) usando a Unreal Engine. A criação de uma réplica digital de Seorabeol, a capital de Silla, incluindo seu terreno e vegetação, produzirá uma quantidade enorme de dados de arquitetura, estradas, pessoas, incidentes históricos e muito mais numa única plataforma. Também poderemos atualizar a cidade virtual conforme ocorrem as escavações e pesquisas arqueológicas. Será possível usar esse ambiente interativo para criar instantaneamente uma cena de filme ou de documentário com qualidade fotorrealista.
Mundo Seorabeol em tempo real: (Esquerda) Modo Lit de visualização / (Direita) Visualização em triângulos de nanite
Obtenha a Unreal Engine hoje mesmo!
Obtenha a ferramenta de criação mais aberta e avançada do mundo.
Com diversas funcionalidades e acesso ao código-fonte, a Unreal Engine está pronta para uso imediato.
Com diversas funcionalidades e acesso ao código-fonte, a Unreal Engine está pronta para uso imediato.