리얼타임 기술로 웹툰 기반 콘텐츠에 새로운 해법을 제시한 TV 드라마 유미의 세포들

원작이 유명 인기 웹툰인 만큼 많은 분들께서 유미의 세포들의 드라마화에 큰 기대를 갖고 귀추가 주목되었던 프로젝트로 알고 있는데요, 이번 프로젝트와 로커스에 대해 간단히 소개해 주시겠어요?

TV드라마 유미의 세포들은 웹툰 원작을 기반으로 제작된 티빙 오리지널 시리즈로, 실제 배우들이 연기하는 현실 세계와 3D 애니메이션으로 제작된 유미 머리 속 세포 세계가 함께 등장하는 매우 흥미로운 프로젝트였습니다. 로커스는 고퀄리티의 애니메이션, CG/VFX 기술을 기반으로 하는 여러 스튜디오를 보유한 콘텐츠 기업으로서, 이번 프로젝트에서 애니메이션 제작을 담당했으며 그 제작 기간은 약 10개월 소요되었습니다.

애니메이션은 실제 배우의 실사 씬과도 잘 어울리면서 개성 넘치는 세포들을 생생하게 표현하는 것이 관건이었는데요, 감사하게도 원작의 묘미를 제대로 살렸다는 호평과 함께 유럽, 북미, 동남아시아 등 전 세계 160여 개국에 서비스 되면서 남녀노소의 시청자들에게 인기를 얻으며 성공적으로 마무리할 수 있었습니다.

캐릭터의 경우, 스켈레탈 메시, 알렘빅 캐시, 디켈 등의 여러 가지 컴포넌트를 하나의 액터 클래스로 묶어 사용하였고 하나의 마스터 블루프린트 액터가 완성되면 자손 블루프린트 액터들을 파생시켜 각각의 액터들을 제작하였습니다. 블루프린트 내부에는 간단한 다이내믹 머티리얼 인스턴스 조종부터 배경 액터와 인터랙션하기 위한 복잡한 함수까지 필요에 맞는 스크립트 들을 추가하여 사용했습니다.

배경은 언리얼 엔진의 랜드스케이프를 이용한 지형, 폴리지, 그리고 DCC툴에서 만든 스태틱 메시들을 사용해 구성하였습니다. 유미 마을 외각의 사막은 랜드스케이프를 활용하여 하나의 공간으로 만들어냈으며, 마을에 등장하는 각각의 건물들은 모듈로 작업해 언리얼 엔진에서 레벨로 배경을 구성했습니다. 또한 상황에 따라 조정이 필요한 배경 에셋은 블루프린트 액터로 설정하여 사용했으며, 라이팅의 경우 구름 및 하늘 메시, 라이트, 포그 등을 모두 하나로 묶어 블루프린트 액터로 만든 후 각기 다른 라이팅 조건에 맞춘 자손 블루프린트들을 만들어 사용했습니다. 예를 들어 실사 장면과 애니메이션 장면이 동시에 등장하는 씬에서 실사 장면이 밤에 촬영되었다면 애니메이션 장면도 밤으로 연출되어야 하는 만큼 다양한 라이팅 환경이 필요했습니다. 이 경우, 레벨에 라이트를 배치하지 않고 시간대별로 라이트 블루프린트를 제작한 후 각 샷의 시퀀서에서 적절한 블루프린트를 스폰하여 사용하는 방식으로 라이팅을 진행하여 드라마의 시제와 맞는 유미 마을의 라이팅을 완성해 나갔습니다. 

이펙트는 캐릭터 및 프롭 블루프린트 안에 컴포넌트로 내장되거나, 단독적으로 나이아가라 시스템을 품은 블루프린트 액터 등의 형태로 씬에 투입되었습니다. 라이팅 아티스트들이 나이아가라 교육 없이 블루프린트 액터의 파라미터 조정만으로도 이펙트를 구현할 수 있도록 하여, 언리얼 엔진을 통해 퀄리티 높은 이펙트들을 효율적으로 사용하고 쉽게 컨트롤할 수 있었습니다. 또한 눈, 비, 먼지, 안개 등의 이펙트를 언제든 사용할 수 있게끔 미리 준비하여, 라이팅 아티스트들이 생각하는 콘셉트로 원하는 샷을 구성할 수 있도록 했습니다.

유미의 세포들 제작 파이프라인에 있어 가장 중점을 둔 부분은 마야에서 추출되는 방대한 양의 에셋 데이터와 샷 애니메이션 데이터들을 언리얼 엔진으로 전달하여 바로 라이팅을 시작할 수 있도록 하는 솔루션을 수립하는 것이었습니다. 로커스 애니메이션 스튜디오는 다수의 장편, TV 애니메이션을 제작해 오면서 모델링부터 합성까지 모든 작업 공정에서 효율적으로 작동하는 DB 기반의 인하우스 툴을 개발하여 사용해 왔는데요, 모든 작업 공정에서 생성되는 데이터를 여러 DCC에서 활용할 수 있도록 범용적으로 관리해 온 덕분에 언리얼 엔진의 FBX 콘텐츠 파이프라인에도 비교적 쉽게 적응할 수 있었습니다. 

에셋 초기 포팅 단계에서는 마야에서 제작된 여러 에셋 컴포넌트들을 정해진 파이프라인 전략에 따라 언리얼 엔진에 임포트 가능한 형태로 일괄 익스포트했습니다. DCC파이프라인에서는 에셋의 개발 히스토리를 저장하기 위해 버전 관리를 하고 있는데, 이번 프로젝트에서는 이를 통해 언리얼 엔진에서 각 에셋 컴포넌트들의 최신 버전을 확인하고 리임포트 여부를 판단하는 방법으로 에셋 최신화를 유지했습니다.

이렇게 포팅된 에셋 중에서 스태틱 메시로 이루어진 배경 에셋을 제외하고 월드에 스폰되는 액터는 여러 컴포넌트들을 결합한 블루프린트 액터로 제작했습니다. 또한, 유미의 세포들에 등장하는 세포 캐릭터들은 일부를 제외하면 모두 동일한 기본형의 세포에서 코스튬 및 프롭을 추가해 서로 다른 세포들을 만들어 냈습니다. 이 경우, 스켈레탈 메시 액터 클래스를 부모로 갖는 캐릭터 블루프린트 마스터 에셋을 만들고, 그것을 상속받아 각 세포에 특정하게 필요한 컴포넌트만을 추가하여 제작했습니다.

샷 빌드 단계에서는 별도의 샷용 레벨을 만들지 않고 샷에 필요한 액터들을 레벨 시퀀스 에셋에 스포너블 액터로 바인딩하여 샷의 요소들을 한 곳에서 모아 관리하는 시퀀서의 장점을 십분 활용했습니다. 이런 시퀀서 중심의 작업 방식은 시퀀서 스크립팅 플러그인과 시너지를 내어, 샷에 사용될 에셋들을 바인딩하고, 섹션에 애니메이션 에셋을 추가하는 등의 자동화 작업을 편리하게 했습니다. 


작업하면서 느꼈던 언리얼 엔진의 장점은 무엇인가요? 

수많은 장점 중에서 몇 가지 추려 보자면 우선은 리얼타임입니다. 기존의 파이프라인에서의 라이팅은 라이트의 설치, 조절 등이 실시간으로는 이루어지지 않기 때문에 어느 정도 라이팅을 예상하고 진행해야 했습니다. 이와 달리 언리얼 엔진에서는 라이팅 연출이 완전히 실시간으로 반영되어 그 즉시 원하는 라이팅으로 수정해 보거나 제작팀 전체가 동일한 라이팅 구성을 보며 논의할 수 있으며, 의도하지 않았던 샘플 오류나 긴 렌더 타임도 겪지 않아도 됩니다. 
 

언리얼 엔진을 처음 사용하면서 가장 어려웠던 점은 무엇이고 어떻게 해결하셨나요?

유미의 세포들은 일정에 맞게 방영된 드라마로 실사와 애니메이션이 결합된 새로운 포맷, 상당 양의 에셋과 샷 작업, 거기에 로커스 내 대부분의 아티스트들은 언리얼 엔진을 처음 다루었기 때문에 최종 결과물에 대한 걱정이 많았습니다. 

일례로, 다수의 디폼이 포함된 복잡한 릭으로 컨트롤되는 애니메이션을 언리얼 엔진으로 전달하는 것이 어려웠습니다. 기존 파이프라인인 마야에서는 다수의 디폼을 통해 다양한 셰이프 변형이 가능하지만 언리얼 엔진에서는 디폼을 이용한 셰이프 변형이 비교적 자유롭지 못합니다. 따라서 세포 캐릭터의 얼굴 부분은 Alembic, 그 외의 부분은 FBX로 제작했습니다. 특히 이번 프로젝트에서는 세포 캐릭터들의 만화적인 눈 표현이 필수였는데 이는 지오메트리 캐시 컴포넌트를 블루프린트 액터에 추가하고 블루프린트 스크립팅으로 준비해 놓은 후, 각 샷의 필요한 얼굴 부분 Alembic 데이터를 시퀀서에서 연결해줘서 해결할 수 있었습니다.

또, 얼굴에만 Alembic을 사용하니 하나의 샷을 만들고 캐릭터를 시퀀서에 올렸을 때 얼굴 부분과 그 외 부분이 미세하게 맞지 않거나 프레임이 미세하게 다른 듯한 샷들이 발견되었습니다. 이 문제는 Alembic의 프레임 오프셋의 수치 이슈 때문에 발생한 것으로 해당 수치를 수정하여 해결하였지만 문제의 원인을 찾는것이 쉽지 않았습니다.

이 외에도 원인을 알 수 없는 오류가 발생하기도 했으며, 이를 해결하기 위해 후반 단계인 라이팅을 진행하다가도 다시 리깅을 수정하거나 애니메이션을 수정하는 단계로 돌아가야 할 경우가 종종 있었습니다. 하지만 드라마 3회차가 끝날 때 즈음부터 이런 문제들이 줄어들었고 유형화되면서 해결책들도 정리되었습니다. 또한 제작 파이프라인이 언리얼 엔진에 맞춰 자동화될 수 있도록 파이프라인 팀이 시스템 최적화에 힘써 주셨습니다. 여기에 더해 로커스가 그간 쌓은 노하우와 강점 역시 어우러져 이런 결과물을 만들어낼 수 있었다고 생각합니다.


작업을 성공적으로 이끌 수 있었던 노하우 또는 제작 과정을 통해 배운 점이 있다면 무엇인가요?

그동안 많은 프로젝트를 진행했던 경험에서 얻은 교훈으로, 이번 프로젝트가 시작됐을 때 가장 처음 한 일은 파이프라인 및 각 팀의 아티스트들이 혼란을 겪지 않도록 돕는 내부 툴을 개발한 것이었습니다. 파이썬 기반의 자체 툴이 없다면 하나의 샷을 만드는데 모든 시간을 사용해야 했을 테고, 유미의 세포들 드라마의 각 샷들은 회차마다 200-300 컷 정도가 되기 때문에 이는 일정 상 진행이 불가능했을 것입니다. 초반 에셋의 블루프린트나 시퀀스 렌더에 많은 문제가 발생했는데, 로커스의 언리얼 엔진 팀 및 각 팀에서 해결책을 적극적으로 찾기도 했을 뿐만 아니라, 에픽게임즈 코리아로부터 많은 도움도 받았습니다.

저희가 애니메이션 스튜디오로서 안고 있었던 가장 큰 고민은 작업자들이 언리얼 엔진과 같은 리얼타임 3D 툴 자체를 처음 접할 때 어떻게 이러한 툴에 빨리 적응하게 하고 또 작업하도록 도울지에 대한 것이었습니다. 무엇을 어디까지 교육하고 어느 부분을 파이프라인과 블루프린트로 자동화할 것인지에 대한 계획을 세운 뒤 일단 세워진 공정에서는 부딪혀 가며 개선점을 찾아갔던 것이 결과적으로 맞는 방법이었던 것 같습니다. 언리얼 엔진 교육에 대한 노하우라면, 넓고 얕은 지식보다는 각 직업군에 특화된 분야만 심도 있게 알려주는 것이 효율적인 것 같습니다.


사내 교육, 필드 매뉴얼 제작 등 언리얼 엔진으로 작업하면서 쌓인 노하우가 상당하다고 들었는데요, 구체적으로 어떤 것인지 궁금합니다.

메인 프로덕션이 들어가기 이전에 사내 작업자들을 대상으로 매주 언리얼 엔진 기초 수업을 진행하며 소프트웨어의 구조를 익혔습니다. 사내 교육은 많은 인원을 수용한 전체 교육과 소규모 그룹 또는 1대 1 교육까지 많은 형태로 진행했습니다. 결과적으로는 전체 교육 보다는 1:1로 진행하는 핸즈온 트레이닝(Hands-on Training)이 효과적이었습니다. 이는 피교육자가 직접 키보드와 마우스를 움직이고 멘토가 옆에서 방법과 가이드를 알려주는 방식으로 작업자들의 습득 속도가 가장 우수했습니다. 그 후 엔진으로 작업하며 새로운 문제가 발생할 때마다 원인과 해결 방안을 문서화하여 같은 문제가 발생했을 때 손쉽게 찾아볼 수 있게끔 정리해두었습니다. 또한 카메라 세팅 오류 등 자주 발생하는 문제의 경우 자동화될 수 있도록 플러그인을 개발하거나 툴을 사용하는 경우도 있었습니다. 

언리얼 엔진을 처음 대하는 작업자들에게는 러닝 커브가 여타 DCC툴에 비해 가파르지 않은 점이 크게 작용했습니다. 엔진을 이해하기 위한 기초 수업 이후 실전에서는 다양한 형태의 에셋을 마주하게 되었는데, 에셋들의 특성과 샷에서의 쓰임새를 안내하는 필드 매뉴얼들이 필요했습니다. 필드 매뉴얼을 제작할 때는 최대한 워크플로를 설명함과 동시에 탑다운 형식을 띄도록 했습니다. 작업 단계별 워크플로에는 옵션의 수치 및 개인마다 다를 수 있는 에디터 사용 방식도 함께 제시해서, 에셋 컨트롤의 획일화를 통해 결과의 일관성을 유지했습니다.