리얼타임 헤어와 퍼를 이용한 Weta Digital의 단편 영화 Meerkat의 비하인드 스토리
Mike Seymour
2020년 12월 10일뉴질랜드 소재 비주얼 이펙트 스튜디오인 웨타 디지털(Weta Digital)은 헤어와 퍼 CG 분야의 혁신을 주도하고 있습니다. 수차례 오스카상을 받은 웨타 디지털은 킹콩(King Kong), 정글북(The Jungle Book), 혹성탈출(The Planet of the Apes) 시리즈 등 많은 대작 영화 제작에 참여했습니다. 리얼타임 기술이 프리비즈에서부터 최종 픽셀까지 영화 제작 과정에서 점점 더 중요한 부분이 됨에 따라 웨타 디지털은 선형적 스토리텔링을 위해 리얼타임 툴을 사용하여 영화 품질의 헤어, 퍼 및 페더를 어느 정도의 수준까지 구현할 수 있을지 실험하고 있습니다. 그 결과, 전적으로 언리얼 엔진으로 렌더링한 단편 영화 미어캣(Meerkat)이 탄생했습니다.
지금 미어캣(Meerkat) 샘플 프로젝트를 받으세요!
이제 어떻게 미어캣 프로젝트가 제작되었는지 확인할 수 있습니다. 전체 씬이 무료 샘플 프로젝트로 제공되어 지금 다운로드할 수 있습니다.
리깅, 그룸, 애니메이션이 완전히 적용된 캐릭터와 함께 인바이런먼트, 카메라, 이펙트, 오디오, 마야 파일, 최종 텍스처와 머티리얼 등을 받아보실 수 있습니다.
웨타는 2019년 언리얼 엔진의 스트랜드 기반 헤어와 퍼 시스템이 첫 출시된 이래로 에픽게임즈와 긴밀히 협업하며 시스템을 정의하고 개선하는 작업을 하고 있습니다. 팀의 경험, 지식과 미어캣 제작 과정에서 얻은 인사이트는 언리얼 엔진 4.26의 리얼타임 시뮬레이션 및 렌더링 툴세트 정식 버전을 제작하는데 도움이 되었습니다.
웨타의 작품들과 세계적 명성의 전용 툴을 잘 아는 사람들에게 웨타 팀이 이런 멋진 작품을 만들 수 있다는 것은 놀라운 일이 아닙니다. 이 프로젝트가 정말 대단한 이유는 소수의 아티스트들이 상용 툴을 사용하여 제작했기 때문입니다. 미어캣은 재능 있는 스토리텔러와 디지털 아티스트가 모이면 어떤 수준의 작품을 만들어낼 수 있는지를 보여줍니다.
여러분을 미어캣 제작의 비하인드 스토리로 안내합니다.
지난 4~5년 동안, 웨타 디지털은 몰입형 리얼타임 인터랙티브 공간을 탐구하고 언리얼 엔진에서의 콘텐츠 제작을 살펴봤습니다. 웨타는 버추얼 프로덕션 연구에도 언리얼 엔진을 사용하고 있지만, 이 단편 영화의 목표는 팀이 최신 표준 언리얼 엔진 툴로 선형적 콘텐츠를 얼마나 수월하게 제작할 수 있는지를 보는 것이었습니다.
웨타 특별 프로젝트팀의 크리에이티브 디렉터이자 VFX 감독인 키스 밀러(Keith Miller)는 "미어캣은 주요 작품으로 만들려던 영상은 아니었습니다. 씬을 작업하는 워크플로와 프로세스에 초점을 두면서, 어떤 수준까지 도달하는지 알아보려는 정도였죠."라고 설명합니다.
웨타는 수많은 혁신적인 헤어와 그루밍 작업을 해왔으며, 전통적인 장편 영화에 쓰이는 세계에서 가장 진보한 헤어와 퍼 에셋을 개발했습니다. 웨타 스튜디오의 전용 파이프라인을 사용하지 않고 표준 언리얼 엔진 툴을 탐구해본 것과 더불어 리얼타임 워크플로에 초점을 맞췄다는 점이 이 프로젝트와 다른 프로젝트의 주된 차이입니다. 제작팀은 퍼가 구현되어야 하는 캐릭터를 제작하면서 즉각적인 피드백으로 샷을 반복작업할 수 있다는 것이 애니메이터에게 무엇을 의미하는지 알아내고 싶었습니다.
팀은 2019년에 영화 혹성탈출의 두 캐릭터인 시저와 모리스로 첫 테스트를 시작했습니다. 이들 캐릭터는 디지털 퍼로는 최절정의 퀄리티를 보여줍니다. 하지만 팀은 복잡한 기존 에셋 대신 상용화된 소프트웨어로 처음부터 새로운 캐릭터를 제작하면서 파이프라인을 시험해보기로 했습니다.
웨타 특별 프로젝트팀의 크리에이티브 디렉터이자 VFX 감독인 키스 밀러(Keith Miller)는 "미어캣은 주요 작품으로 만들려던 영상은 아니었습니다. 씬을 작업하는 워크플로와 프로세스에 초점을 두면서, 어떤 수준까지 도달하는지 알아보려는 정도였죠."라고 설명합니다.
웨타는 수많은 혁신적인 헤어와 그루밍 작업을 해왔으며, 전통적인 장편 영화에 쓰이는 세계에서 가장 진보한 헤어와 퍼 에셋을 개발했습니다. 웨타 스튜디오의 전용 파이프라인을 사용하지 않고 표준 언리얼 엔진 툴을 탐구해본 것과 더불어 리얼타임 워크플로에 초점을 맞췄다는 점이 이 프로젝트와 다른 프로젝트의 주된 차이입니다. 제작팀은 퍼가 구현되어야 하는 캐릭터를 제작하면서 즉각적인 피드백으로 샷을 반복작업할 수 있다는 것이 애니메이터에게 무엇을 의미하는지 알아내고 싶었습니다.
팀은 2019년에 영화 혹성탈출의 두 캐릭터인 시저와 모리스로 첫 테스트를 시작했습니다. 이들 캐릭터는 디지털 퍼로는 최절정의 퀄리티를 보여줍니다. 하지만 팀은 복잡한 기존 에셋 대신 상용화된 소프트웨어로 처음부터 새로운 캐릭터를 제작하면서 파이프라인을 시험해보기로 했습니다.
Weta Digital 이미지 제공
캐릭터는 마야(Autodesk Maya)에서 모델링했고 캐릭터의 퍼 그루밍은 페레그린 랩스(Peregrine Labs)의 마야 플러그인인 Yeti로 만들었습니다. 그 후 그룸을 얼렘빅 파일로 익스포트하고 언리얼 엔진으로 임포트하였습니다.
첫 테스트를 성공적으로 마치자 팀은 몰리(Molly)라는 미어캣과 몰리를 위협하는 독수리가 등장하는 새로운 단편 영화 스토리를 만들기로 했습니다. 특별 프로젝트팀은 정확한 참고 자료를 얻기 위해 웨타와 긴밀한 협력 관계에 있는 웰링턴 동물원(Wellington Zoo)을 방문하여 미어캣을 실제로 관찰했습니다.
팀은 전통적 스토리보드로 스토리 아이디어를 전개한 후 ‘체스 피스 프리비즈/모션 스테이징’이라고 부르는 간단한 퀄리티 수준의 스케치 작업을 했습니다. 이는 애니메이션뿐 아니라 환경 작업에도 영향을 미쳤습니다. 굴 자체는 커스텀 모델이었지만 배경과 주변 바위는 언리얼 엔진에서 모두 무료로 사용할 수 있는 퀵셀 메가스캔으로 제작했습니다. 이러한 에셋은 환경을 조정하거나 특정 카메라 각도로 '드레싱'할 때를 대비해 언리얼 엔진에서 활성화되었습니다.
캐릭터를 만들고 캐릭터에 애니메이션을 구현하는 초기 단계에서는 반복작업이 가장 큰 요인입니다. 웨타의 애니메이터는 마야와 언리얼 엔진 양쪽에서 씬을 열어 두고 마야에서 몰리에 애니메이션을 적용한 후 언리얼 엔진에서 리얼타임 렌더링 결과를 확인할 수 있었습니다. 이는 언리얼 엔진의 라이브 링크 기능 덕분에 가능했는데 이 기능은 외부 소스의 애니메이션 데이터를 언리얼 엔진으로 스트리밍하고 사용할 수 있는 공통 인터페이스를 제공합니다.
첫 테스트를 성공적으로 마치자 팀은 몰리(Molly)라는 미어캣과 몰리를 위협하는 독수리가 등장하는 새로운 단편 영화 스토리를 만들기로 했습니다. 특별 프로젝트팀은 정확한 참고 자료를 얻기 위해 웨타와 긴밀한 협력 관계에 있는 웰링턴 동물원(Wellington Zoo)을 방문하여 미어캣을 실제로 관찰했습니다.
팀은 전통적 스토리보드로 스토리 아이디어를 전개한 후 ‘체스 피스 프리비즈/모션 스테이징’이라고 부르는 간단한 퀄리티 수준의 스케치 작업을 했습니다. 이는 애니메이션뿐 아니라 환경 작업에도 영향을 미쳤습니다. 굴 자체는 커스텀 모델이었지만 배경과 주변 바위는 언리얼 엔진에서 모두 무료로 사용할 수 있는 퀵셀 메가스캔으로 제작했습니다. 이러한 에셋은 환경을 조정하거나 특정 카메라 각도로 '드레싱'할 때를 대비해 언리얼 엔진에서 활성화되었습니다.
캐릭터를 만들고 캐릭터에 애니메이션을 구현하는 초기 단계에서는 반복작업이 가장 큰 요인입니다. 웨타의 애니메이터는 마야와 언리얼 엔진 양쪽에서 씬을 열어 두고 마야에서 몰리에 애니메이션을 적용한 후 언리얼 엔진에서 리얼타임 렌더링 결과를 확인할 수 있었습니다. 이는 언리얼 엔진의 라이브 링크 기능 덕분에 가능했는데 이 기능은 외부 소스의 애니메이션 데이터를 언리얼 엔진으로 스트리밍하고 사용할 수 있는 공통 인터페이스를 제공합니다.
팀은 라이팅, 머티리얼, 애니메이션과 관련하여 모든 각도에서 씬을 확인할 수 있었습니다. 크리처를 모델링하고 그루밍한 시니어 디지털 아티스트 네이선 파쿼(Nathan Farquhar)는 "문제가 있거나 개선이 필요한 부분을 직접 볼 수 있고, 일반 영화 파이프라인의 추가 없이 정말 빠르게 반복작업할 수 있었습니다."라고 설명합니다.
CG 감독 텔빈 카베자스(Thelvin Cabezas)는 "이 프로젝트가 가능했던 이유 중 하나가 바로 라이브 링크입니다. 마야에서 애니메이션 컨트롤을 조정하고 언리얼 엔진에서 어떤 모습인지 확인함으로써 매우 잘 통제된 방식으로 작업을 진행할 수 있었습니다."라고 덧붙입니다.
애니메이터는 장면별 작업 외에도 두 크리처의 올바른 퍼포먼스에 필요한 애니메이션 릭을 개발했습니다. 독수리 날개는 특히나 복잡했는데, 정확히 몸 안으로 접혀야 했고, 날 때는 완전히 펼쳐진 모습도 보여줘야 했기 때문입니다. 파쿼는 독수리 스켈레탈 메시의 일부로 지오메트리 기반의 깃대를 정교하게 설정함으로써 팀이 깃가지를 스트랜드로 바인딩하여 독수리의 아름다운 페더를 만들 수 있게 했습니다.
CG 감독 텔빈 카베자스(Thelvin Cabezas)는 "이 프로젝트가 가능했던 이유 중 하나가 바로 라이브 링크입니다. 마야에서 애니메이션 컨트롤을 조정하고 언리얼 엔진에서 어떤 모습인지 확인함으로써 매우 잘 통제된 방식으로 작업을 진행할 수 있었습니다."라고 덧붙입니다.
애니메이터는 장면별 작업 외에도 두 크리처의 올바른 퍼포먼스에 필요한 애니메이션 릭을 개발했습니다. 독수리 날개는 특히나 복잡했는데, 정확히 몸 안으로 접혀야 했고, 날 때는 완전히 펼쳐진 모습도 보여줘야 했기 때문입니다. 파쿼는 독수리 스켈레탈 메시의 일부로 지오메트리 기반의 깃대를 정교하게 설정함으로써 팀이 깃가지를 스트랜드로 바인딩하여 독수리의 아름다운 페더를 만들 수 있게 했습니다.
애니메이터가 페더에 콜리전 이슈 없이 리얼타임으로 동작하는 독수리를 만드는 것은 엄청나게 복잡한 작업이었습니다. 몰리는 40만 개의 스트랜드로 그루밍되었지만, 독수리는 370만 개 이상의 스트랜드로 그루밍되었습니다. 예전에는 아티스트가 게임 엔진에서 조류의 날개를 처리하려면 카드를 사용해야 할 수도 있었습니다. 하지만 이제 언리얼 엔진 4.26의 새로운 헤어 렌더링 및 시뮬레이션 시스템을 통해 장편 영화급의 매우 정확하게 페더가 구현된 날개를 제작할 수 있습니다.
대다수 팀원들에게 애니메이션 감독 루도빅 샤일로(Ludovic Chailloleau)가 만든 몰리의 턴테이블 워크 사이클은 전환점이 되었습니다. 그들은 자신감 있게 프로젝트에 착수했지만 프로젝트 성격 때문에 끊임없이 새로운 헤어와 퍼 기술을 추진해야 했습니다. 하지만 카베자스의 셰이더와 결합한 샤일로의 절묘한 애니메이션은 팀원들에게 최종 결과가 얼마나 인상적일지 보여주었습니다.
파쿼는 "텔빈이 놀라운 셰이딩을 만들고 몰리가 제자리에서 걷는 모습을 봤을 때 확신이 들었어요. 이 방식이 성공할 거라는 확신이 선 거죠."라고 회상합니다.
언리얼 엔진의 셰이더는 그간 팀에서 사용하던 셰이더와 매우 비슷했으므로, 그 덕분에 팀이 원하던 수준의 리얼리즘을 구현할 수 있었습니다. 파쿼는 이 정도의 리얼리즘을 구현하려면 전반적인 콘셉트를 잘 이해하는 것이 중요하다고 이야기합니다. 가령 몰리는 건조하고 거친 사막 땅을 돌아다닙니다. 굴을 들락날락하기 때문에 캐릭터의 모습을 표현하려면 애니메이션을 보고, 컨텍스트를 살펴보고, 이를 염두하면서 그루밍해야 합니다.
그 결과 몰리의 발 주변에 털이 뭉치고 엉킨 부위가 추가되었습니다. 팀은 몰리가 흙먼지 속에서 움직이다 보면 이 작품의 사막 설정을 고려했을 때 몰리의 퍼가 더 건조하고 덜 기름질 것으로 봤기 때문입니다. 파쿼는 "이런 요인을 그루밍에 포함하면 해당 환경 속 몰리를 더 현실적으로 표현하고 환경과의 연관성을 지을 수 있습니다."라고 말합니다.
파쿼는 "텔빈이 놀라운 셰이딩을 만들고 몰리가 제자리에서 걷는 모습을 봤을 때 확신이 들었어요. 이 방식이 성공할 거라는 확신이 선 거죠."라고 회상합니다.
언리얼 엔진의 셰이더는 그간 팀에서 사용하던 셰이더와 매우 비슷했으므로, 그 덕분에 팀이 원하던 수준의 리얼리즘을 구현할 수 있었습니다. 파쿼는 이 정도의 리얼리즘을 구현하려면 전반적인 콘셉트를 잘 이해하는 것이 중요하다고 이야기합니다. 가령 몰리는 건조하고 거친 사막 땅을 돌아다닙니다. 굴을 들락날락하기 때문에 캐릭터의 모습을 표현하려면 애니메이션을 보고, 컨텍스트를 살펴보고, 이를 염두하면서 그루밍해야 합니다.
그 결과 몰리의 발 주변에 털이 뭉치고 엉킨 부위가 추가되었습니다. 팀은 몰리가 흙먼지 속에서 움직이다 보면 이 작품의 사막 설정을 고려했을 때 몰리의 퍼가 더 건조하고 덜 기름질 것으로 봤기 때문입니다. 파쿼는 "이런 요인을 그루밍에 포함하면 해당 환경 속 몰리를 더 현실적으로 표현하고 환경과의 연관성을 지을 수 있습니다."라고 말합니다.
애니메이션을 표현할 진짜 실력도 필요했습니다. 특히 몰리가 알 위에서 균형을 잡는 애니메이션이 어려웠고, 라이팅도 쉽지만은 않았습니다. 앰비언트 오클루전에 라이트매스를 사용했고 라이트매스 임포턴스 볼륨을 사용하여 간접광을 베이킹했습니다. 여기에 직접광의 다이내믹 라이팅을 결합함으로써 원하는 퀄리티의 라이팅을 만들고 땅에서부터 몰리에게 부드럽게 바운스되는 라이팅과 백라이트가 근사하게 구현되는 독수리 페더를 표현할 수 있었습니다.
카베자스는 "언리얼 엔진에서 저희는 물리적 현실부터 작업했습니다. 웨타 디지털에서는 익숙한 방식입니다. 예를 들어, 포토메트릭 라이팅 퀄리티가 제대로인지, 태양이 10만 럭스 정도인지, 카메라 노출을 현실적으로 설정했는지 등을 확인하는 거죠."라고 설명합니다.
현실 조건을 일대일로 일치시킨 후에는 팀에서 '영화 조명(movie lighting)'이라고 하는 것을 도입합니다. 예를 들어, 독수리가 공격하자 몰리가 굴속에 숨으며 카메라를 쳐다보는 장면이 있습니다. 카베자스에게는 이 장면이 라이팅을 설정하기가 가장 힘든 장면이었습니다. 언리얼 엔진의 라이팅은 극도로 사실적이고 물리적으로 타당하게 구현하지만, 이 장면에선 이펙트에 약간의 트릭을 썼습니다. 실제로는 몰리의 표정을 보기엔 굴속이 너무 어두울 것이기 때문입니다.
카베자스는 "언리얼 엔진에서 저희는 물리적 현실부터 작업했습니다. 웨타 디지털에서는 익숙한 방식입니다. 예를 들어, 포토메트릭 라이팅 퀄리티가 제대로인지, 태양이 10만 럭스 정도인지, 카메라 노출을 현실적으로 설정했는지 등을 확인하는 거죠."라고 설명합니다.
현실 조건을 일대일로 일치시킨 후에는 팀에서 '영화 조명(movie lighting)'이라고 하는 것을 도입합니다. 예를 들어, 독수리가 공격하자 몰리가 굴속에 숨으며 카메라를 쳐다보는 장면이 있습니다. 카베자스에게는 이 장면이 라이팅을 설정하기가 가장 힘든 장면이었습니다. 언리얼 엔진의 라이팅은 극도로 사실적이고 물리적으로 타당하게 구현하지만, 이 장면에선 이펙트에 약간의 트릭을 썼습니다. 실제로는 몰리의 표정을 보기엔 굴속이 너무 어두울 것이기 때문입니다.
이런 영화 조명을 진짜처럼 보이게 만드는 기술은 웨타와 같은 회사를 단연 돋보이게 해줍니다. 미어캣에서는 붉은 간접 반사광과 미묘한 눈빛으로 미어캣의 생각과 반응을 나타냅니다. 카베자스는 "굴 안쪽 장면이 정말 심하게 어려웠어요. 단순한 장면이지만 누구도 예상치 못하게 엄청 어려운 그런 장면이 항상 있죠."라고 말합니다.
최종본을 제작하기 위해 팀에서는 언리얼 엔진의 3D 비선형 에디터인 시퀀서에 있는 애니메이션 기능을 활용했습니다. 마지막으로 무비 렌더 큐를 사용하여 최종 프레임을 출력했습니다. 이 기능을 사용하면 누적된 안티 에일리어싱과 모션 블러를 통해 최대 퀄리티로 렌더링할 수 있지만, 리얼타임보다는 약간 느립니다. 그럼에도 기존의 오프라인 렌더링보다는 비교도 안 되게 빠르기 때문에 선형 출력에 이상적입니다. 온라인용으로 제작된 영화라 1920x1080으로 마스터링했지만, 4K로도 테스트 샷을 출력했는데 그 결과는 정말 놀라웠습니다.
최종본을 제작하기 위해 팀에서는 언리얼 엔진의 3D 비선형 에디터인 시퀀서에 있는 애니메이션 기능을 활용했습니다. 마지막으로 무비 렌더 큐를 사용하여 최종 프레임을 출력했습니다. 이 기능을 사용하면 누적된 안티 에일리어싱과 모션 블러를 통해 최대 퀄리티로 렌더링할 수 있지만, 리얼타임보다는 약간 느립니다. 그럼에도 기존의 오프라인 렌더링보다는 비교도 안 되게 빠르기 때문에 선형 출력에 이상적입니다. 온라인용으로 제작된 영화라 1920x1080으로 마스터링했지만, 4K로도 테스트 샷을 출력했는데 그 결과는 정말 놀라웠습니다.
이 소규모 팀은 제대로 활용하면 언리얼 엔진 4.26의 새로운 표준 툴로 웨타급 퀄리티를 보여주는 동급 최고의 영상물을 제작할 수 있다는 것을 입증했습니다. 그 수준은 팀의 프로젝트 초기 기대치를 훌쩍 뛰어넘는 수준이었습니다. 이 과정에서 팀원들은 자신들이 만든 캐릭터와 리얼타임 워크플로가 주는 자유로움에 푹 빠져버렸습니다.
카베자스는 "이 프로젝트는 엄청나게 재미있었어요. 그렇게 프로젝트를 완료하면 결과물에 대한 자부심이 생기죠. 누구든지 자신의 집 지하실에서 멋진 크리처를 만들 수 있습니다. 그런 것이 바로 사람들의 창의력과 기술력, 예술성이 발휘되는 기회라는 점에서 의미 있다고 생각합니다."라고 말합니다.
밀러는 "재능 있는 아티스트들은 언리얼의 스트랜드 기반 렌더링 기술의 발전과 상용 툴을 통해 정말 멋진 작품을 만들 수 있습니다."라며 말을 마칩니다.
카베자스는 "이 프로젝트는 엄청나게 재미있었어요. 그렇게 프로젝트를 완료하면 결과물에 대한 자부심이 생기죠. 누구든지 자신의 집 지하실에서 멋진 크리처를 만들 수 있습니다. 그런 것이 바로 사람들의 창의력과 기술력, 예술성이 발휘되는 기회라는 점에서 의미 있다고 생각합니다."라고 말합니다.
밀러는 "재능 있는 아티스트들은 언리얼의 스트랜드 기반 렌더링 기술의 발전과 상용 툴을 통해 정말 멋진 작품을 만들 수 있습니다."라며 말을 마칩니다.