영화 제작 분야에 대해 알아가는 과정에 전통적인 비주얼 이펙트 중심의 프로덕션에서는 핵심적인 부서들의 분업화가 일반적이라는 사실을 깨닫고 놀랐습니다. 프로덕션의 비전이 완전히 실현되기까지 주요 제작자들의 현장 촬영과 포스트 프로덕션 간의 작업 과정이 몇 주 또는 몇 달씩 소요되었죠. 바로 리얼타임 게임 엔진 기술이 혁신적인 변화를 일으킬 수 있는 절호의 기회라고 판단되었습니다.
다행히도, 영화 제작 분야를 이끌고 있던 사람은 존 파브로(Jon Favreau)였습니다. 더 만달로리안(The Mandalorian) 촬영에 대한 파브로의 선구적인 비전은 전통적인 영화 제작의 패러다임을 새롭게 뒤바꿀 수 있는 기회를 제공했습니다.
존과 처음 만났을 때 그는 더 많은 리얼타임 인터랙티브의 특성과 긴밀한 협업을 프로덕션 프로세스에 적용할 수 있다는 점에 많은 기대를 하고 있었습니다. 새로운 워크플로를 실험해보고 목표를 이루기 위해 새롭게 도전하고자 하는 의지가 뚜렷했습니다. 결국 이러한 초기 논의가 획기적인 버추얼 프로덕션 방법론으로 발전되었습니다. 즉, 시리즈 촬영은 다이내믹한 디지털 세트를 디스플레이하는 대형 LED 벽으로 둘러싸인 세트장에서 진행하며 라이브 프로덕션 과정에서 실시간으로 디지털 콘텐츠에 반응하고 변경할 수 있는 기능도 활용할 수 있었죠. ILM과 협업하며 에픽은 전체적으로 조화를 이루는 결과물을 어떻게 도출할 수 있을지 계획을 구상했습니다. 그 결과, 빠른 속도로 진행되는 TV 시리즈 프로덕션에서 그 누구도 시도해본 적 없는 규모의 기술 세트와 야심찬 신규 시스템이 개발되었습니다.
촬영이 시작되자 언리얼 엔진은 동기화된 PC 4 대에 실행되며 LED 벽의 픽셀을 실시간으로 제어했습니다. 그 동시에 언리얼 개발자 3 명은 벽에 디스플레이되는 버추얼 신(scene), 라이팅 그리고 이펙트를 한번에 다룰 수 있었죠. LED 공간 내에 있는 제작진들도 감독 및 촬영감독과 긴밀히 작업하며 iPad를 통해 신을 원격으로 조정할 수 있었습니다. 버추얼 프로덕션 워크플로는 더 만달로리안 시즌 1 의 절반 이상을 촬영하는 데 사용되며 영화 제작자들이 야외 촬영을 생략하고, 복잡한 VFX 장면을 카메라 내에서 구현할 수 있었고, 세트장에서 신의 반복작업을 함께 진행할 수 있었습니다. 언리얼 엔진의 리얼타임 기능과 몰입형 LED 스크린의 조합은 이전에는 상상할 수 없었던 창의적인 유연성을 가능하게 했습니다.
더 만달로리안은 고무적인 도전이었을 뿐 아니라, 언리얼 엔진 사용자에게 도움이 되는 입증된 툴을 개발하기 위한 강력한 시험대였습니다. 이 가운데 에픽의 멀티 유저 협업 툴, 머신 클러스터가 실시간으로 대형 이미지를 동시에 렌더링할 수 있게 해주는 nDisplay 시스템 그리고 영화 제작자들에게 실시간 프리뷰를 제공하는 라이브 컴포지팅 시스템이 큰 역할을 했습니다. 또한, 촬영 데이터를 기록하거나 iPad로 LED 벽 환경을 조작하는 등 외부 소스에서 언리얼 엔진과 연결하는 기능 개발에도 주력했습니다. 이 모든 기능들은 지금 4.24 버전에서 만나보실 수 있거나 곧 4.25 버전에서 공개할 예정입니다.
