모팩은 VFX 기술력뿐만 아니라 영화와 미디어계의 다양한 분야에서 최고의 자리에 오른 제작진을 바탕으로 영화와 드라마, 애니메이션 등의 IP 콘텐츠 제작과 테마파크 기획 및 디자인, 공간 기반 엔터테인먼트 마스터 플래닝 등 뉴미디어 사업까지 그 영역을 확장하고 있습니다.
애니메이션 제작을 위한 새로운 시도와 언리얼 엔진
전통적인 영화 제작 파이프라인에 전문성을 갖춘 모팩은 현재 예수의 생애와 황금판다, 두 편의 리얼타임 애니메이션 프로젝트를 한창 진행 중으로, 이들은 리얼타임 애니메이션 제작이라는 혁신적인 시도로 지난해 에픽 메가그랜트로 선정되었습니다.예수의 생애는 찰스 디킨스의 원작 소설을 기반으로 한 극장용 장편 애니메이션으로, 국내 최고의 VFX 슈퍼바이저인 모팩의 장성호 대표가 감독을 맡고, 박찬욱 감독의 리틀 드러머걸로 영국 아카데미 촬영조명상을 수상한 바 있는 김우형 촬영감독이 촬영을 맡아 제작 중입니다. 언리얼 엔진의 퍼포먼스 캡처와 버추얼 프로덕션 기술을 활용하여 캐릭터의 움직임을 보다 생생하게 표현하고, 결과물을 실시간으로 확인하며 제작 공정에 따른 시간을 최소화하고 있습니다.
황금 만두를 먹으면 거대하게 변하는 아기 판다의 모험을 그리는 황금판다는 20여 개의 에피소드로 구성돼 있습니다. 첫 번째 에피소드만으로 텐센트, 유쿠 등 중국의 유수 OTT 사업자 및 엔터테인먼트 회사들로부터 러브콜을 받고 있는 작품으로, 언리얼 엔진의 리얼타임 레이 트레이싱으로 최상의 렌더링을 구현하고 있습니다.
모팩이 두 작품을 리얼타임 애니메이션으로 진행하는 이유는 기존 애니메이션 작업의 비효율성 때문이었습니다. 기존의 파이프라인에서는, 연출자가 스토리보드 단계에서 이야기의 구조를 설계한 후, 각 파트별로 선형적인 방식으로 작업이 진행되어, 실제 결과물은 수 개월이 지나서 나오게 됩니다. 혹시라도, 연출자의 디렉션을 잘못 해석하거나, 의도한 퀄리티와 맞지 않거나, 혹은 더 좋은 영감이 생긴다면, 다시 작업을 해야 하는 비효율적인 일이 발생하게 됩니다.
우리는 이를 해결하기 위해, 즉각적인 디렉션과 주요 스태프들이 함께 실시간으로 의사결정을 내리는 일반적인 영화 현장의 작업 방식에 주목했고, 애니메이션 작업 과정에 이 두 가지 방식을 대입하기 위해서 필요한 것이 바로 ‘리얼타임’이었습니다. 이를 통해 다양한 시도와 효율적인 결과를 얻을 수 있었는데, 예를 들어, 모션 캡처에 있어서는 연출자가 모션 캡처 배우와 직접 소통하며 연기에 대한 디렉션을 바로 전달하고, 현장에서는 배우의 움직임이 덧입혀진 캐릭터가 배경에 합성된 화면을 실시간으로 보며 수정할 부분에 대해 의사 결정을 내릴 수 있게 되었습니다. 기존 파이프라인에 대대적인 수정이 필요하지만, 전체적으로 봤을 때 시간과 비용을 크게 절약하면서, 합리적인 의사결정을 내릴 수 있게 된거죠.
리얼타임 애니메이션을 위한 파이프라인
예수의 생애는 버추얼 프로덕션(Virtual Production)을 기반으로 영화 제작 방식 접근법을 가미해 디자인, 개발 및 개선을 해왔습니다. 이러한 방식은 감독과 스태프, 배우의 참여와 상호간의 교류, 몰입을 최우선으로 한다는 데 기존 애니메이션 제작과 큰 차이점이 있습니다. 또한, 배우 캐스팅과 로케이션 스카우팅, 테이크(Take)와 애드리브, 재촬영, 현장 편집 등 영화 제작에서만 존재하는 특수한 과정들이 포함돼 있습니다.
언리얼 엔진 리얼타임 애니메이션 파이프라인
모팩의 리얼타임 애니메이션 프로세스에는 크게 5개의 하위 프로세스가 있는데, 그중 ‘가상 환경에서의 레이아웃 구성과 촬영’, ‘실시간 편집 및 피드백’, ‘현장 제작을 위한 온셋 피드백’ 프로세스가 언리얼 엔진으로 디자인되었습니다. 언리얼 엔진의 실시간 렌더링 기술은 고퀄리티 시각화와 몰입감이 높아 현장 제작까지 가능하게 합니다. 이를 구현하기 위해서는 애셋 제작, 개발, 실시간 운영 및 업데이트가 필수적이고, USD를 이용한 애셋 제작 파이프라인, I/O 파이프라인, 편집 실시간 데이터 싱크 시스템과 하위 파이프라인, 피드백을 위한 사용자 관점 멀티 렌더링, 기타 서브 커스텀 툴 그리고 외부 드라이브 컨트롤 등을 개발하고 있습니다.
황금판다 포스트 프로덕션의 큰 파이프라인은 2018년에 제작된 포트나이트 트레일러 제작에 사용한 실시간 파이프라인 방식을 유사하게 차용했습니다. 기존 제작 방식과의 핵심적인 차이는 기존의 DCC툴과 언리얼 엔진과의 파이널 룩의 간극을 줄이기 위해 모든 컷을 리얼타임 레이 트레이싱으로 작업했다는 점입니다.
모팩은 현재 특정 부분은 기존의 방식과 새로운 방식을 혼합해 사용하고 있는데, 이를 언리얼 엔진으로 통일화하는 것이 궁극적인 목표로, 향후 처음부터 끝까지 언리얼 엔진을 이용해 작품을 완성할 계획입니다.
리얼타임 애니메이션 제작 과정에서의 언리얼 엔진 효과
실시간 렌더링으로 생산성 향상
기존에 마야에서 플레이블래스트(Playblast)와 파이널 렌더를 보기 전까지 제대로 된 결과물을 확인할 수 없었지만, 언리얼 엔진의 실시간 렌더링 덕분에 감독과 실시간으로 소통하면서 수정 방향에 대해 논의할 수 있기 때문에 프리 프로덕션 단계는 물론 포스트 프로덕션까지 작업 시간을 효율적으로 단축할 수 있었습니다.
또한, 마야에서 블로킹된 카메라와 애니메이션을 넣고, 대략적인 분위기가 담긴 샷을 마스터 시퀀스로 한 번에 확인할 수 있고, 실시간으로 시퀀서를 움직이며 디테일하게 작업하는 것이 가능했습니다. 지금 보이는 것이 곧 파이널이 된다 라는 큰 장점은 덕분에 기존의 파이프 라인의 몇 단계는 줄일 수 있었습니다.
렌더링 시간에 있어서도 큰 도움이 되었습니다. 기존 툴로 작업했던 샷들은 1프레임당 짧아야 30분(2K 기준) 정도였는데, 언리얼 엔진으로 렌더링하면 1프레임당 5초 이내(4K 기준, 레이 트레이싱 활성화)로 끝나기 때문에 기존 파이프라인보다 훨씬 빠르게 작업을 끝낼 수 있었습니다.
효율적인 커뮤니케이션
언리얼 엔진과 같은 고품질의 종합적인 실시간 렌더링은 감독과 배우를 포함한 모든 참여자에게 실시간 피드백을 준다는 것에 대해 큰 혁신이 존재합니다. 모든 참여자들은 실시간으로 각자의 전문 분야에서 발생되는 예술적, 기술적 피드백을 즉시에 받을 수 있어서 우리는 프리 프로덕션과 포스트 프로덕션과의 길고 긴 커뮤니케이션을 모두 단축시킬 수 있습니다. 심지어 포스트 프로덕션 작업에서도 감독이 직접 화면을 보고 디렉팅하고 결정할 수 있어 효율적입니다.
아티스트의 영역 확장
기존 워터폴(waterfall) 방식의 작업에서 볼 수 있는 부작용들이 개선됐기 때문에 기존보다 절반도 안되는 인력을 투입했음에도 작업이 가능했습니다. 마치 릴레이처럼 앞단에서부터 차례대로 소스를 전달해 하나의 프로그램으로 취합했던 기존의 파이프라인을 벗어나 언리얼 엔진으로 한 번에 결과물을 볼 수 있었기 때문에 각자의 포지션에 국한되지 않고 영역을 넓히는 것이 가능했습니다.애셋 비용 단축(Houdini-HDA와 메가스캔)
애셋 제작에 아티스트를 투입할 수 있는 여건이 되지 않았고, 게임 쪽에서 LOD로 최적화해 애셋을 준비해본 아티스트 인력이 전무한 상황에서 Houdini를 이용해 단순하지만 제일 손이 많이 가는 프롭들을 프로시졀 방식으로 모델링 작업을 해 시간을 단축하기로 했습니다.
필요한 메시 수를 유지하고, 같은 파일을 FBX로 불러오는 방식과 HDA(houdini digital asset)을 통해 불러오는 방식을 비교했을 때, 후자가 더 가벼웠기 때문에 HDA 작업을 통해 데이터가 차지하는 부분을 줄일 수 있었습니다. 대규모 환경에 들어갈 특정한 오브젝트를 HDA로 다양한 베리에이션을 제작해 인스턴싱할 수 있었습니다.
또한, 환경 작업의 경우, 소수의 인력으로 많은 작업을 진행해야 하는 상황에서 수많은 애셋들을 모아 원하는 퀄리티의 아름다운 배경을 만들기에는 어려운 부분들이 많았는데, 메가스캔을 무료로 활용할 수 있어 더욱 빠르고 풍성하게 자연물을 배치할 수 있었습니다. 또한, 폴리지, 데칼, 익스포넨셜 하이트 포그, 애트머스페릭 포그, 포스트 프로세스 볼륨 등으로 많은 버전의 배경 제작을 시도해 볼 수 있었습니다.
“언리얼 엔진을 통해서 촬영 DP(Director of Photography)도 실시간으로 룩을 확인하며 조명을 처리할 수 있었기 때문에 좀 더 크 리에이티브한 작업이 가능해졌습니다. 이는 기존의 스포트웨어와 비교해봤을 때 굉장한 차별점입니다. 현재 파이프라인을 다듬어가는 과정에 있지만 앞으로의 가능성에 기대가 큽니다. ” [성호석 감독<황금판다>, 김우형 촬영감독]
리얼타임 렌더링과 미래의 콘텐츠
리얼타임 애니메이션 프로젝트 외에도 모팩은 실제 공연장에 가상의 캐릭터가 결합되어 무대를 선보인 실감형 라이브 공연(Immersive Live Performance)을 언리얼 엔진으로 작업하였고 현재는 오는 4월 크랭크인 예정인 대형 영화 프로젝트의 프리 프로덕션을 언리얼 엔진으로 진행하고 있습니다. 가상 세트를 제작하고, VR 스카우팅을 통해 미리 촬영 현장을 확인하며, 가상 세트에서는 감독이 배우들의 동선과 연기 호흡을 미리 점검합니다. 또한, 촬영감독이 직접 버추얼 촬영을 할 수 있도록 언리얼 엔진의 버추얼 카메라툴을 커스터마이징하고, 자체 하드웨어를 제작했습니다. 크랭크인에 들어가게 되면 현장에서 Ncam을 활용한 온셋 시각화를 진행할 예정입니다.
콘텐츠의 본질은 이야기의 재미입니다. 기존에는 거대한 자본이 필요했다면, 이제는 언리얼 엔진과 같은 리얼타임 렌더링으로 더욱 다양한 시도를 효율적으로 할 수 있게 되었습니다. 앞으로는 콘텐츠 크리에이터가 중심이 되어 크리에이터는 더욱 창의적인 콘텐츠 시장을 만들어 갈 것으로 예상합니다. 영화와 애니메이션 산업 분야 종사자들에게 언리얼 엔진이 이러한 상황에서 도움을 줄 수 있는 아주 좋은 도구가 될 것이라고 생각합니다.