TRIC 이미지 제공
언리얼 엔진과 에픽 에코시스템으로 이뤄낸 문화유산 디지털 경험
2024년 4월 3일
문화유산기술연구소(TRIC)
TRIC은 문화유산, 무형유산, 자연유산, 미래유산 등 전 세계의 유산을 디지털 기술로 보존하고, 이를 활용한 콘텐츠를 개발하는 기업입니다. TRIC은 유산의 원형을 보존하고, 유산에 대한 접근성을 높이고, 유산의 가치를 재발견하고 확산하는 데 기여하고 있습니다.
TRIC은 문화유산, 무형유산, 자연유산, 미래유산 등 전 세계의 유산을 디지털 기술로 보존하고, 이를 활용한 콘텐츠를 개발하는 기업입니다. TRIC은 유산의 원형을 보존하고, 유산에 대한 접근성을 높이고, 유산의 가치를 재발견하고 확산하는 데 기여하고 있습니다.
문화유산은 우리의 과거를 이해하고, 현재와 미래의 역사와 정체성을 보존하고 전해질 수 있도록 하는 중요한 자산입니다. 이런 대한민국의 문화유산 중 약 23만 점은 합법 또는 부당하게 반출되어, 이를 아카이빙하여 관리하고 가능한 경우 국내에 환수하려는 다양한 노력들을 이어 나가고 있습니다.
이런 노력 중의 하나로, 대한민국 정부는 최근 디지털 기술과 장비들의 발전에 힘입어, 복잡하고 어려운 물리적 환수를 대체할 수 있는 '디지털 공유'라는 개념을 생각해 냅니다. 즉, 해외 박물관에 소장되어 있는 한국 예술품의 디지털 원형 데이터를 매우 정밀하게 구축하고, 이를 기반해 실물 예술품을 감상하는 것과 같이, 디지털로 실감나는 콘텐츠를 개발하고 한국과 현지에 동시에 전시해 그 가치를 함께 공유하는 것입니다. 이 개념을 처음으로 구체화한 프로젝트가 바로 '클리블랜드 미술관(CMA) 소장 한국문화재 디지털 귀향 프로젝트'입니다. 미국 클리블랜드 미술관이 소장 중인 한국 문화유산을 디지털로 귀향한다는 본 프로젝트를 수행한 문화유산기술연구소(TRIC)의 김지교 대표님을 만나 자세히 알아봤습니다.
이런 노력 중의 하나로, 대한민국 정부는 최근 디지털 기술과 장비들의 발전에 힘입어, 복잡하고 어려운 물리적 환수를 대체할 수 있는 '디지털 공유'라는 개념을 생각해 냅니다. 즉, 해외 박물관에 소장되어 있는 한국 예술품의 디지털 원형 데이터를 매우 정밀하게 구축하고, 이를 기반해 실물 예술품을 감상하는 것과 같이, 디지털로 실감나는 콘텐츠를 개발하고 한국과 현지에 동시에 전시해 그 가치를 함께 공유하는 것입니다. 이 개념을 처음으로 구체화한 프로젝트가 바로 '클리블랜드 미술관(CMA) 소장 한국문화재 디지털 귀향 프로젝트'입니다. 미국 클리블랜드 미술관이 소장 중인 한국 문화유산을 디지털로 귀향한다는 본 프로젝트를 수행한 문화유산기술연구소(TRIC)의 김지교 대표님을 만나 자세히 알아봤습니다.
TRIC과 함께 CMA 소장 한국문화재 디지털 귀향 프로젝트에 대해 소개해 주세요.
본 프로젝트를 수행한 TRIC은 문화와 유산을 위한 디지털 기술 R&D와 그 활용 사업을 통해 새로운 가치를 창출하는 기업입니다. 지난 10년동안 TRIC은 인도네시아, 튀르키예, 카자흐스탄, 라오스, 일본, 이집트 등 전 세계의 주요 유산을 대상으로 디지털 아카이빙 및 콘텐츠를 개발해 모두가 누릴 수 있도록 서비스하고 있습니다. 최근에는 리얼타임 콘텐츠의 발전에 따라 언리얼 엔진을 중심으로 파이프라인을 구축하며 클리블랜드 미술관의 프로젝트를 진행하고 있습니다.
TRIC 이미지 제공
TRIC이 진행한 다양한 프로젝트
CMA 소장 한국문화재 디지털 귀향 프로젝트는 미국 클리블랜드 미술관이 소장하고 있는 한국 문화유산의 디지털 원형 데이터를 구축하고 디지털 실감 콘텐츠를 제작하여 올 3월부터 한미 양국에서 동시에 전시하는 국제 협력 프로젝트입니다. 총 3년에 걸쳐 진행되고 있는 본 프로젝트는 1차 연도인 2022년에 클리블랜드 미술관이 소장하고 있는 한국 유물 대표 13점을 디지털 아카이빙하였고, 2차 연도인 2023년에는 13점의 유물 중 대규모 전시 연출에 가장 적합한 칠보산도를 선정해 몰입적인 실감 콘텐츠로 제작했습니다. 그리고 3차 연도인 올해 3월에는 드디어 한미 양국에 그 결과물을 선보이는 공동전시를 개최합니다.
TRIC 이미지 제공
CMA 소장 한국문화재 디지털 귀향 프로젝트: 칠보산도
언리얼 엔진을 TRIC의 작업 파이프라인에 도입한 이유가 무엇인가요?
예술품 데이터를 활용한 콘텐츠 구축 프로젝트에서는 디지털 버전의 예술품을 얼마나 실제와 동일하게 구현하는지 그 사실성이 가장 중요합니다. 하지만 메시와 텍스처가 정밀할수록, 그리고 단일 예술품이 아닌 건축물을 구현할수록 데이터가 무거워지는 것은 필연적이기 때문에 기존에는 데이터 경량 및 최적화 작업에 많은 리소스를 투입했습니다. 특히 TRIC은 설립 초창기부터 다양한 미디어 기술을 통해 관람객과 예술 사이의 인터랙션을 중요하게 생각해 왔고, 물리적 센싱 기반의 콘텐츠나 VR 및 AR 등 실시간 인터랙티브 콘텐츠 개발을 주로 해 왔기 때문에 이러한 최적화 작업이 반드시 필요했습니다. 이 때문에 퀄리티를 그대로 보존하면서도 최소한의 작업으로 실시간 구동이 가능한 언리얼 엔진을 도입하게 되었습니다.
예술품 데이터를 활용한 콘텐츠 구축 프로젝트에서는 디지털 버전의 예술품을 얼마나 실제와 동일하게 구현하는지 그 사실성이 가장 중요합니다. 하지만 메시와 텍스처가 정밀할수록, 그리고 단일 예술품이 아닌 건축물을 구현할수록 데이터가 무거워지는 것은 필연적이기 때문에 기존에는 데이터 경량 및 최적화 작업에 많은 리소스를 투입했습니다. 특히 TRIC은 설립 초창기부터 다양한 미디어 기술을 통해 관람객과 예술 사이의 인터랙션을 중요하게 생각해 왔고, 물리적 센싱 기반의 콘텐츠나 VR 및 AR 등 실시간 인터랙티브 콘텐츠 개발을 주로 해 왔기 때문에 이러한 최적화 작업이 반드시 필요했습니다. 이 때문에 퀄리티를 그대로 보존하면서도 최소한의 작업으로 실시간 구동이 가능한 언리얼 엔진을 도입하게 되었습니다.
TRIC 이미지 제공
언리얼 엔진으로 구현한 높은 정밀도의 디지털 유물
언리얼 엔진 5의 루멘과 나나이트를 활용하면 데이터의 디테일을 높은 비주얼 퀄리티로 구현할 수 있을 뿐만 아니라 리얼타임 제작에 필수적이었던 장시간의 최적화 작업들에 대한 부담을 크게 줄여 주었기 때문에, 적은 인원으로도 목표한 퀄리티의 결과물을 빠르게 도출할 수 있었습니다. 또한 언리얼 엔진을 도입한 덕분에 기본 영상부터 복잡한 계산과 시뮬레이션을 요하는 몰입형 다면 영상, 아나몰픽 영상 등 새로운 출력 방식의 콘텐츠 제작을 위한 작업 파이프라인까지 TRIC이 진행하고 있는 프로젝트 전반의 파이프라인을 획기적으로 단축할 수 있었습니다.
TRIC 이미지 제공
TRIC이 제작한 아나몰픽 영상
가장 최근에 진행한 CMA 소장 한국문화재 디지털 귀향 프로젝트의 파이프라인에 대해 소개해 주세요.
CMA 소장 한국문화재 디지털 귀향 프로젝트는 13점의 유물을 스캔하여 디지털화하고, 칠보산도 실감 콘텐츠를 제작하는 크게 2가지 작업으로 진행되었습니다. 이를 위해, 스캔 작업에서는 리얼리티캡처를 전면적으로 활용하였고, 칠보산도 실감 콘텐츠 제작에서는 언리얼 엔진 중심의 파이프라인을 구축하였습니다.
먼저 프로젝트 1차 연도에 진행한 디지털 데이터 구축 작업의 경우, 칠보산도를 포함하여 클리블랜드 박물관이 소장하고 있는 한국 유물 13점에 대해 초정밀 디지털 데이터를 구축했습니다. 일반적으로 정밀한 3D 스캔은 라이다 또는 구조광 스캐너 등의 전문 장비를 활용해 진행하는 경우가 많습니다. 그렇지만 이번에는 유물이 해외에 소재해 있어 장비의 반입과 적절한 환경을 조성하는 것이 어렵다는 점 때문에 사진측량 기반의 데이터를 생성하는 방식으로 제작했습니다. 그리고 이를 위해 TRIC이 예술품 데이터 구축 사업에서 대부분의 공간 및 오브젝트의 3D 데이터를 구축할 때 사용하는 리얼리티캡처를 사용하였습니다. 각 유물마다 수천 장의 사진을 촬영 후 리얼리티캡처로 메시를 생성하였는데, 덕분에 높은 정밀도의 텍스처와 메시가 적용된 에셋을 구축할 수 있었습니다. 여담으로, 리얼리티캡처는 코로나19 팬데믹으로 독일 국경이 봉쇄되었음에도 베를린의 건축사진가와 협업을 통해 샤를로텐부르크성 도자기 방 프로젝트를 성공적으로 마무리 할 수 있게 해 주었던 핵심 툴이기도 합니다.
CMA 소장 한국문화재 디지털 귀향 프로젝트는 13점의 유물을 스캔하여 디지털화하고, 칠보산도 실감 콘텐츠를 제작하는 크게 2가지 작업으로 진행되었습니다. 이를 위해, 스캔 작업에서는 리얼리티캡처를 전면적으로 활용하였고, 칠보산도 실감 콘텐츠 제작에서는 언리얼 엔진 중심의 파이프라인을 구축하였습니다.
먼저 프로젝트 1차 연도에 진행한 디지털 데이터 구축 작업의 경우, 칠보산도를 포함하여 클리블랜드 박물관이 소장하고 있는 한국 유물 13점에 대해 초정밀 디지털 데이터를 구축했습니다. 일반적으로 정밀한 3D 스캔은 라이다 또는 구조광 스캐너 등의 전문 장비를 활용해 진행하는 경우가 많습니다. 그렇지만 이번에는 유물이 해외에 소재해 있어 장비의 반입과 적절한 환경을 조성하는 것이 어렵다는 점 때문에 사진측량 기반의 데이터를 생성하는 방식으로 제작했습니다. 그리고 이를 위해 TRIC이 예술품 데이터 구축 사업에서 대부분의 공간 및 오브젝트의 3D 데이터를 구축할 때 사용하는 리얼리티캡처를 사용하였습니다. 각 유물마다 수천 장의 사진을 촬영 후 리얼리티캡처로 메시를 생성하였는데, 덕분에 높은 정밀도의 텍스처와 메시가 적용된 에셋을 구축할 수 있었습니다. 여담으로, 리얼리티캡처는 코로나19 팬데믹으로 독일 국경이 봉쇄되었음에도 베를린의 건축사진가와 협업을 통해 샤를로텐부르크성 도자기 방 프로젝트를 성공적으로 마무리 할 수 있게 해 주었던 핵심 툴이기도 합니다.
스캔된 13점의 유물 비교 좌: 실제 / 우: 디지털 버전
프로젝트 2차 연도에 진행한 실감 콘텐츠 제작 작업에서는 길게 펼쳐진 병풍 속에 그려진 칠보산을 3면으로 구성된 몰입형 스크린으로 옮겨 전통회화의 느낌을 그대로 살리면서도 입체적인 공간감을 더하고자 하였습니다. 이를 위해 먼저 카메라 로테이터를 활용해 폭당 수천 장의 이미지를 연결하여 방대한 기가픽셀 데이터를 구축하였고, 모든 요소들을 객체별, 색역별, 층별로 분리해 별도의 레이어로 제작하고 여기에 언리얼 엔진을 활용하여 3차원 공간에 재배치한 후 촬영하는 방식을 통해 평면의 전통 회화 유물인 칠보산도에 입체감과 역동감을 부여하여 3D 콘텐츠로 재탄생시켰습니다.
TRIC 이미지 제공
2D 병풍화를 레이어화하여 언리얼 엔진에서 3D 공간에 재배치
입체감 표현에 무엇보다 중요했던 것은 캐릭터의 윤곽선을 따라 붓선의 느낌이 나도록 표현하는 것으로, 언리얼 엔진의 머티리얼 에디터를 통해 셰이더를 제작했고, 그 위에 종이 질감의 고퀄리티 텍스처를 메가스캔에서 다운로드 후 가공하여 캐릭터에 포스트 프로세싱 재질을 입혀주는 방식으로 제작했습니다. 그리고 역동감을 살리기 위해서 필요했던 포그는 언리얼 엔진의 나이아가라 플루이드로 제작하였는데, 덕분에 다른 오브젝트들과 실시간으로 반응하는 시뮬레이션이 가능했고, 원하는 타이밍에 시퀀서를 통해 제어할 수 있었습니다. 또한 Open VDB를 활용했던 기존 방식보다 가볍고 필요한 수정을 즉시 작업할 수도 있었습니다. 이렇게 잘 만들어진 캐릭터와 이펙트를 3면으로 구성된 스크린으로 보여주기 위해 세 개의 카메라를 하나로 묶은 카메라 리그를 사용하여 애니메이션을 효과적으로 한번에 처리하였으며, 렌더링 역시 시퀀서에 배치된 세 개의 카메라를 동시에 렌더링할 수 있는 무비 렌더 큐로 개별 영상을 한번에 출력했습니다.
TRIC 이미지 제공
3개의 카메라로 동시에 렌더링하는 장면
칠보산도 실감 콘텐츠 제작에서 언리얼 엔진과 에픽의 에코시스템이 어떤 도움을 주었는지 자세히 설명해 주세요.
칠보산도 실감 콘텐츠처럼 전통 회화 리소스를 활용한 콘텐츠에서는 동양 회화 특유의 심미적 감각과 화풍이 모든 요소와 장면에 일관적으로 유지되어야 하기 때문에 모든 과정에서 정밀하게 컨트롤할 수 있는 제작 툴이 필요합니다. 언리얼 엔진은 퍼포먼스의 제약 없이 콘텐츠 자체의 비주얼 퀄리티를 최대한 올리면서 나이아가라, 시퀀서 등으로 그 구성 에셋들을 세밀하고도 정확하게 컨트롤할 수 있는 환경을 제공해 주었습니다. 또한, 언리얼 엔진 마켓플레이스와 메가스캔의 방대한 라이브러리에서 구름, 달, 안개, 바람, 비 등 다양한 자연 현상을 구현할 때 적합한 리소스를 빠르게 확보할 수 있었고, 리깅된 애니메이션 캐릭터를 전통 회화 스타일로 완전히 새롭게 입체화하는데 반드시 필요한 원화의 캐릭터 질감을 구현하기 위해 적합한 고퀄리티의 셰이더, 텍스처 등도 제공하여 작업 시간을 크게 단축시킬 수 있었습니다.
칠보산도 실감 콘텐츠처럼 전통 회화 리소스를 활용한 콘텐츠에서는 동양 회화 특유의 심미적 감각과 화풍이 모든 요소와 장면에 일관적으로 유지되어야 하기 때문에 모든 과정에서 정밀하게 컨트롤할 수 있는 제작 툴이 필요합니다. 언리얼 엔진은 퍼포먼스의 제약 없이 콘텐츠 자체의 비주얼 퀄리티를 최대한 올리면서 나이아가라, 시퀀서 등으로 그 구성 에셋들을 세밀하고도 정확하게 컨트롤할 수 있는 환경을 제공해 주었습니다. 또한, 언리얼 엔진 마켓플레이스와 메가스캔의 방대한 라이브러리에서 구름, 달, 안개, 바람, 비 등 다양한 자연 현상을 구현할 때 적합한 리소스를 빠르게 확보할 수 있었고, 리깅된 애니메이션 캐릭터를 전통 회화 스타일로 완전히 새롭게 입체화하는데 반드시 필요한 원화의 캐릭터 질감을 구현하기 위해 적합한 고퀄리티의 셰이더, 텍스처 등도 제공하여 작업 시간을 크게 단축시킬 수 있었습니다.
전통 회화의 붓선 셰이더 적용 여부 비교 좌: 투명도 0.2 / 우: 투명도 0.8
무엇보다 언리얼 엔진의 리얼타임 렌더링은 프로젝트에 반드시 필요한 핵심 기술이었습니다. 이번 프로젝트의 경우, 콘텐츠 제작 기간이 2개월도 주어지지 않아 시간이 매우 촉박했습니다. 그에 반해 3개의 스크린이 사다리꼴 모양으로 배치된 몰입형 스크린에서 콘텐츠를 구현하기 위해 3개의 버추얼 카메라로 촬영하여 매우 큰 해상도로 렌더링해야 했습니다. 이런 경우 관람객의 위치 및 화각에 따라 몰입도가 확연히 달라지기 때문에 다양한 변수에 대응하며 반복적이고 섬세한 조정이 필요했습니다. 특히, 한국과 미국이라는 지구 정 반대편에 있는 양국 전문가들이 참여하다 보니 실시간 컨퍼런스 콜을 통해 세부 의견을 주고 받았는데, 언리얼 엔진을 통해 실시간으로 확인하고 조정할 수 있었기 때문에 소통 시간을 획기적으로 줄일 수 있었습니다. 또한, 최종 결과물의 퀄리티도 이미 제작 과정에서 미리 확인할 수 있었기 때문에 커뮤니케이션의 오류나 재작업 리스크가 거의 없었습니다. 만약 전통적인 방식으로 제작했다면 주어진 프로젝트 기간을 회의만으로 보냈을 것이며, 겨우 합의에 이르렀다 해도 퀄리티는 물론 기간 내에 제작하는 것조차 불가능했을 것입니다.
TRIC이 해외 전문가들과 컨퍼런스 콜을 진행하는 모습
문화유산기술연구소의 향후 목표 및 나아갈 방향에 대해서 설명해 주세요.
단기적으로는 현재 수행하고 있는 CMA 소장 한국문화재 디지털 귀향 프로젝트와 이집트 문화유산 ODA(공적개발원조) 프로젝트를 성공적으로 마치는 것을 목표로 합니다. 장기적으로는 이러한 성과들을 바탕으로 확보된 수많은 데이터와 리얼타임 콘텐츠를 연결하는 메타버스와 유사한 개념의 시대별 리얼타임 월드를 구축하는 것을 목표로 하고 있습니다. 이를 위해서 언리얼 엔진과 에픽의 에코시스템을 더욱 적극적으로 활용해 역사적으로 보존할 가치가 높은 도시의 시대별 모습을 입체적으로 복원해 나가고자 합니다.
그 일환으로 우선 8세기 서라벌 전체를 리얼타임 월드로 구축하는 프로젝트를 언리얼 엔진을 활용하여 진행하고 있습니다. 신라의 왕경인 서라벌의 지형, 식생 등이 복원된 환경에서 건축, 도로, 사람, 역사적 사건 및 사회 등의 방대한 데이터들을 하나의 플랫폼에서 마주하고, 발굴 및 연구 결과를 업데이트할 수 있습니다. 이 뿐만 아니라 이를 체험하며 교류할 수 있는 하나의 콘텐츠로서, 실사 수준의 퀄리티로 영화나 다큐멘터리 속의 장면도 그 자리에서 바로 만들어 낼 수 있게 됩니다.
단기적으로는 현재 수행하고 있는 CMA 소장 한국문화재 디지털 귀향 프로젝트와 이집트 문화유산 ODA(공적개발원조) 프로젝트를 성공적으로 마치는 것을 목표로 합니다. 장기적으로는 이러한 성과들을 바탕으로 확보된 수많은 데이터와 리얼타임 콘텐츠를 연결하는 메타버스와 유사한 개념의 시대별 리얼타임 월드를 구축하는 것을 목표로 하고 있습니다. 이를 위해서 언리얼 엔진과 에픽의 에코시스템을 더욱 적극적으로 활용해 역사적으로 보존할 가치가 높은 도시의 시대별 모습을 입체적으로 복원해 나가고자 합니다.
그 일환으로 우선 8세기 서라벌 전체를 리얼타임 월드로 구축하는 프로젝트를 언리얼 엔진을 활용하여 진행하고 있습니다. 신라의 왕경인 서라벌의 지형, 식생 등이 복원된 환경에서 건축, 도로, 사람, 역사적 사건 및 사회 등의 방대한 데이터들을 하나의 플랫폼에서 마주하고, 발굴 및 연구 결과를 업데이트할 수 있습니다. 이 뿐만 아니라 이를 체험하며 교류할 수 있는 하나의 콘텐츠로서, 실사 수준의 퀄리티로 영화나 다큐멘터리 속의 장면도 그 자리에서 바로 만들어 낼 수 있게 됩니다.
서라벌 리얼타임 월드 좌: 일반 / 우: 나나이트 트라이앵글 시각화
지금 언리얼 엔진을 다운로드하세요!
세계에서 가장 개방적이고 진보된 제작 툴을 받아보세요.
모든 기능과 무료 소스 코드 액세스가 포함된 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
모든 기능과 무료 소스 코드 액세스가 포함된 언리얼 엔진은 제작에 바로 사용할 수 있습니다.