The Walt Disney Company 이미지 제공

언리얼 엔진으로 2D에서 3D 애니메이션으로 탄생한 Big City Greens

2022년 12월 15일
빅 시티 그린(Big City Greens)의 연말 테마 작품에 새로운 시각을 부여하고 싶었던 디즈니 텔레비전 애니메이션(Disney Television Animation)은 현실을 비틀어 그린 가족이 가상 세계 ‘아웃포스트 인피니티(Outpost Infinity)’로 들어간다는 설정을 선택했습니다. 이 가상 세계에서는 애니메이션이 원래의 2D 스타일이 아닌 3D로 그려집니다.

하지만 유명한 2D IP를 3D 환경으로 옮긴다는 것은 말처럼 쉬운 일이 아닙니다. 디즈니 테크놀로지(Disney Technology) 팀과 협업하고 언리얼 엔진을 활용하여 원작 아트워크에 충실한 룩을 구현하고, 기존 3D 접근법과 상당히 다른 리얼타임 CG 파이프라인을 구축함으로써 결국 팀은 2D 파이프라인에 큰 변화를 주어야 했습니다.

‘버추얼리 크리스마스(Virtually Christmas)’의 3D 영상은 고도로 스타일라이즈되었고 거의 전적으로 언리얼 엔진에서 만들어진 16분 길이의 영상입니다. 디즈니에서 언리얼 엔진으로 제작한 첫 번째 에피소드 작품이고, 리얼타임 기술을 주로 사용하여 만든 단일 애니메이션 에피소드 가운데 가장 깁니다.
 

빅 시티 그린 연말 특집에서 그린 가족은 크리스마스에 크리켓 그린(Cricket Green)이 폭설로 고립되어 가족이 있는 집으로 돌아오지 못하게 되는 난처한 상황에 처합니다.

다행히 크리켓의 친구 레미(Remy)에게 해결책이 있습니다. 레미의 새 가상현실 게임 속 3D 환경에서 그린 가족이 함께 크리스마스를 보내면 된다는 것입니다. 디즈니 테크놀로지 팀 소프트웨어 엔지니어링 부문 부사장 카키 나바르(Kaki Navarre)는 이렇게 설명합니다. “이 작품을 통해 저희는 기존의 2D 스토리텔링을 3D 리얼타임 스토리텔링과 혼합해 볼 수 있었습니다. 캐릭터들이 가상 세계로 들어가면서 경험하는 것과도 같은 여정이죠.”

애니메이션을 2D에서 3D로 옮기는 데는 예술적 관점에서도, 기술적 관점에서도 많은 도전이 따릅니다. 우선 캐릭터의 3D 버전이 원래의 2D 버전에 충실해야 합니다.

디즈니의 3D 애니메이션 수퍼바이저 제니퍼 버치필드(Jennifer Burchfield)는 말합니다. “가장 까다로웠던 부분은 그린 가족을 그들답게 만드는 것이었습니다. 모션과 디자인 측면 모두에서요. 이 캐릭터를 보면 크리켓이라고 느낄 수 있어야 했습니다.”

프로젝트는 언리얼 엔진에 기반한 리얼타임 파이프라인으로 구성되었지만, 이 에피소드의 아트 스타일은 물리 기반 게임 엔진의 룩과는 달리 사실적이기보다 고도로 스타일라이즈된 룩이어야 했습니다.

팀은 스톱모션과 일러스트풍 스타일에서 영감을 받아 그들만의 룩을 개발했고, 그 룩은 다양한 아트 및 애니메이션 기법을 중심으로 결합되기 시작했습니다. 일관성을 위해서는 스타일 가이드를 작성해서 라이트와 섀도가 캐릭터와 상호작용하는 방식부터 표면의 리플렉션 방식까지 모든 것을 정의해야 했습니다.
The Walt Disney Company 이미지 제공
팀은 또한 2D 애니메이션을 참고하여 2D와 3D 스타일의 간극을 메울 기술을 발견했습니다. 디즈니의 3D 애니메이션 디렉터 마크 드로스트(Mark Droste)는 말합니다. “빅 시티 그린은 만화입니다. 캐릭터의 팔이 매우 길게 늘어나고, 눈은 커다래지고, 몸은 우리가 할 수 없는 움직임을 할 수 있습니다. CG로 전환할 때 종종 우려되는 점은 캐릭터가 경직될 수 있다는 부분입니다. 2D 관점에서 보면 특히 그렇습니다.”

팀은 캐릭터가 3D에서도 2D에서처럼 만화풍으로 느껴지게 하려면 하나의 애니메이션 원칙을 밀어붙여야 한다는 사실을 알았습니다. 바로 스쿼시 앤 스트레치(squash and stretch) 원칙입니다.

스쿼시 앤 스트레치는 2D 애니메이터가 탄성과 유연성을 표현하기 위해 사용하는 기법입니다. 이를 캐릭터에 적용하면 움직임이 더 자연스럽고 생동감 있게 보입니다. 드로스트는 이렇게 말합니다. “한 프레임씩 일시정지해 보면 캐릭터가 심하게 찌그러지고, 늘어나고, 얼굴이 한쪽으로 쏠리는 것이 보입니다. 그런 점이 애니메이션에 탄력을 더해주고 빅 시티 그린 스타일이 맞다는 확고한 느낌을 주게 됩니다.”
The Walt Disney Company 이미지 제공

팀은 또한 지오메트리에 스미어 프레임(Smear frames)을 적극적으로 활용했습니다. 스미어 프레임은 움직이는 물체 뒤에 마치 얼룩(smear)처럼 몇 개의 이미지가 뒤따르게 하는 2D 애니메이션 기법입니다. 그렇게 하면 물체가 지속적으로 움직이는 듯한 착시 효과를 줍니다. 버치필드는 말합니다. “이를 통해 피너츠(Peanuts) 또는 스파이더맨: 뉴 유니버스(Spider-Man: Into the Spider-Verse)의 접근 방식과 더 유사해졌습니다. 모션 블러를 전혀 사용하지 않아서 쇼가 더 스타일라이즈된 느낌이죠.”

이러한 기법을 쓰려면 캐릭터 릭에서 출발해야 합니다. 팀은 Maya에서 릭을 제작한 다음, 컨트롤 릭을 사용하는 프리비즈 애니메이션 패스(pass)를 위해 엔진으로 가져왔습니다.

그런 다음 데이터를 애니메이션 시퀀스로 굽고, 애니메이터가 Maya에서 최종 패스를 수행할 수 있도록 FBX로 익스포트했습니다. 디즈니의 3D 애니메이션 파이프라인 수퍼바이저 에번 바인더(Evan Binder)는 말합니다. “반드시 스쿼시 앤 스트레치 룩을 고수하고 싶었고, 엔진 외부에서는 편집을 하고 싶지 않았습니다.”

“퍼포먼스상의 이유로 FBX를 계속 사용했습니다. 그 이유는 첫 번째로 FBX에서 컨트롤 릭이 잘 작동하기 때문이고, 아티스트들도 컨트롤을 확인하여 나중에 엔진에서 수정할 수 있기 때문입니다.”

최종 Maya 패스가 끝난 후에는 모든 것을 다시 엔진으로 가져와 팀이 전체 컨텍스트에서 확인하고 엔진에서 스미어 프레임을 추가하며 필요한 부분을 변경할 수 있게 했습니다. 드로스트는 말합니다. “엔진으로 다시 가져와서 모든 것을 세트 안에 둡니다. 그러면 라이팅과 함께, 모든 것을 최종 상태로 볼 수 있습니다. 그리고 반복작업을 계속하는 주기가 매우 빨라서 의사결정도 아주 빠르게 할 수 있습니다.”
The Walt Disney Company 이미지 제공

언리얼 펠로우십에서 첫 프로젝트까지

디즈니는 얼마 전부터 리얼타임 워크플로로 작업해 왔습니다. 지난 여름에 몇몇 팀원이 언리얼 펠로우십 프로그램에 참여했죠. ‘버추얼리 크리스마스’는 이 팀의 첫 번째 언리얼 엔진 프로젝트입니다. 버치필드는 말합니다. “언리얼을 배우다 보니 정말 좋아하게 됐습니다. 사용한 적은 한 번도 없지만 익히기가 아주 쉬웠습니다. 매우 직관적이었거든요. 익숙하고 편안한 느낌이었습니다.”

리얼타임 방식을 채택함으로써 기존의 오프라인 제작 파이프라인에서는 순차적으로 진행했어야 할 여러 부문의 작업을 병렬 처리할 수 있었습니다. 편집, 레이아웃, 라이팅, VFX가 모두 동시에 진행되자 팀은 통합된 환경에서 공동으로 작업하며 반복적인 방식으로 스토리를 찾을 수 있었습니다.

디즈니의 3D 애니메이션 CG 수퍼바이저 메건 스티프터(Megan Stifter)는 이것이 리얼타임 워크플로의 가장 강력한 측면 중 하나라고 봅니다. 스티프터는 말합니다. “기존 애니메이션의 경우 아티스트와 엔지니어는 추상적인 작업에 익숙해집니다.”
The Walt Disney Company 이미지 제공
“작품이 실제로 어떻게 보일지의 최종 컨텍스트 안에서 작업하는 것이 아니기 때문에 많은 것을 추측하고 확인해야 합니다. 많은 경우 변경사항의 파급 효과를 확인하기까지 며칠, 몇 주, 몇 달이 걸리기도 합니다. 리얼타임 작업에서는 이러한 시간이 완전히 단축됩니다. 변경의 영향을 거의 즉각적으로 확인할 수 있습니다.”

이를 느낀 사람들의 반응은 뜨거웠습니다. 단절되어 있었던 부서들이 동시에 공동으로 작업을 시작할 수 있게 되면, 업데이트는 활기를 주는 경험이 됩니다. 일반적으로 이 프로세스는 시네마틱 디렉터가 생성한 정육면체와 원기둥, 프리비즈 에셋에서 시작되었습니다. 그 모든 작업을 레이아웃 단계에, 최종 에셋이 생성 중인 동안 진행할 수 있게 되었습니다. 팀은 그런 다음 블루프린트, 서브레벨 중첩, 랜드스케이프 스컬프팅, 대역 소품을 사용하여 애니메이션, 시네마틱, 라이팅, 기술 부문에서 제작이 계속 진행되도록 했습니다. 모델이 완성되고 나면 엔진에서 쉽게 교체하거나 업데이트할 수 있었습니다.

디즈니의 3D 에셋 수퍼바이저 크리스티나 덕(Christina Douk)은 이렇게 말합니다. “Perforce로 모든 파일을 동기화하고 시퀀서로 다시 열린 프로젝트에서 플레이 버튼을 누를 때마다, 매일이 새로운 선물처럼 느껴졌습니다. 그 덕분에 엔진에서의 반복작업이 아주 재미있고 흥미로웠고, 제작을 진전시키면서 계속 영감을 받을 수 있었습니다.”

리얼타임 3D 영화 제작 툴

언리얼 엔진의 영화 제작 툴은 물리적 세트에서 볼 수 있는 툴을 재현합니다. 프로젝트 초기에 드로스트는 엔진에서 혼자 대략적인 스토리를 만들었습니다. 드로스트는 말합니다. “정말 훌륭했습니다. 디지털 샌드박스를 사용하여 머릿속에 있는 것을 엔진에 만들 수 있었습니다.”
The Walt Disney Company 이미지 제공
“제가 기억하는 최고의 순간은 프리비즈 에셋으로 모든 것을 구성했던 날입니다. 단순한 아이디어가 화면 위의 실체로 표현되었습니다. 그것이 언리얼 엔진을 사용할 때 제가 가장 좋아하는 부분입니다. 매우 쉽게 환경을 구축하고, 라이트를 주고, 캐릭터를 구성하고 나면 순식간에 아이디어가 눈앞에 구체적으로 표현됩니다.”

‘버추얼리 크리스마스’의 모든 시퀀스는 시퀀서를 사용하여 하나의 포괄적인 타임라인 안에서 함께 편집되었습니다. 팀은 편집 프로세스를 언리얼 엔진으로 가져옴으로써 작업의 속도를 높이고, 전체 에피소드 및 각각의 샷을 컨텍스트와 함께 확인하고, 즉석에서 수정할 수 있었습니다. 많은 시간을 들여 기존의 비선형 편집 소프트웨어 패키지로 샷을 익스포트 및 동기화하던 프로세스는 생략되었습니다.
 
The Walt Disney Company 이미지 제공

디즈니의 리얼타임 미디어 부문 테크놀로지 디렉터 앤디 우드(Andy Wood)는 이렇게 설명합니다. “하나의 거대한 프로젝트 안에서 바삐 돌아다니며 빠르게 수정할 수 있습니다. 기존 파이프라인에서는 그럴 수 없었죠. 언리얼 엔진과 같은 중앙 집중식 콘텐츠 제작 툴세트 덕분에 가능합니다.”

마지막 순간까지 샷을 수정할 수 있다는 점은 특히 제작의 마무리 단계에 중요한 수정을 요청받았을 때 큰 장점이 되었습니다. 드로스트는 말합니다. “아주 긴 데다가 많은 작업이 필요한 시퀀스를 재작업해야 했습니다. 평소라면 결방이 날 상황이었죠. 하지만 쇼러너와 함께 앉아서 언리얼 엔진으로 3분짜리 시퀀스 전체를 2시간 만에 완전히 다시 만들었습니다.”

멀티 플랫폼 콘텐츠 파이프라인

디즈니는 언제나 애니메이션 기술의 한계에 도전해 왔고, 테크놀로지 팀은 리얼타임 시각화의 새로운 지평을 열고 있습니다. 따라서 ‘버추얼리 크리스마스’를 리얼타임으로 제작하는 것은 자연스러운 수순처럼 느껴졌습니다. 우드는 말합니다. “기술이 발전할수록 우리는 고민하게 됩니다. 어떻게 하면 더 많은 컨텍스트를 더 빠르게 확보할 수 있을까? 어떻게 하면 새롭고 혁신적인 방식으로 작업할 수 있을까? 이런 종류의 프로젝트에서 리얼타임 기술을 하나의 가능성으로 탐색해 보는 것은 아주 타당한 시도였습니다.”

디즈니가 ‘버추얼리 크리스마스’에서 리얼타임 기술을 사용한 것은 훨씬 큰 그림의 일부입니다. 테크놀로지 팀과 크리에이티브 팀이 버추얼 프로덕션, 콘텐츠 인터랙션, 데이터 시각화 등 다른 영역에서도 리얼타임 워크플로를 사용할 방법을 모색하기 시작했기 때문입니다. 부서들이 협력하여 리얼타임 콘텐츠를 제작하게 되면서 흥미로운 기회가 생겼습니다. 바로 멀티 플랫폼 콘텐츠 파이프라인을 만들 기회입니다.
The Walt Disney Company 이미지 제공
프로젝트 시작 단계에 적절한 최적화 결정이 내려지면 하나의 버티컬용으로 만든 CG 에셋 및 환경을 다른 버티컬용으로 고칠 수 있습니다. 나바르는 말합니다. “인터랙티브 프레임 레이트로 실행되고 리얼타임 작업이 가능한 에셋에 먼저 투자한 후에는, 그것을 기존의 단방향 플랫 콘텐츠 제작에도 사용할 수 있고 어떤 종류의 새로운 포맷이라도 제작할 수 있습니다. 인터랙티브 경험이든 몰입감 있는 경험이든 가능합니다. 한계는 없습니다.”

빅 시티 그린 에피소드 ‘버추얼리 크리스마스’는 지금 디즈니 채널(Disney Channel)과 디즈니 플러스(Disney Plus)에서 시청할 수 있습니다.

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요
    이벤트
    1월 17일

    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요

    스테이트 오브 언리얼에서 에픽과 에픽 파트너사의 최신 소식을 확인해 보세요. 또한 에픽의 테크 토크를 통해 자세한 내용을 알아보고 세션과 러닝 시어터에서는 영감을 얻고 정보를 받아보세요.
    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요
    이벤트

    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요

    스테이트 오브 언리얼에서 에픽과 에픽 파트너사의 최신 소식을 확인해 보세요. 또한 에픽의 테크 토크를 통해 자세한 내용을 알아보고 세션과 러닝 시어터에서는 영감을 얻고 정보를 받아보세요.
    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월
    뉴스
    2월 6일

    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월

    판타지 실내 환경, 스타일라이즈드 수정 광산, 90년대풍 레트로 TV 등, 언리얼 엔진 마켓플레이스의 2월 무료 3D 에셋을 공개합니다!
    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월
    뉴스

    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월

    판타지 실내 환경, 스타일라이즈드 수정 광산, 90년대풍 레트로 TV 등, 언리얼 엔진 마켓플레이스의 2월 무료 3D 에셋을 공개합니다!
    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요
    뉴스
    2월 5일

    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요

    레트로 카페, 전원풍 인테리어, 로우 폴리 마을, 커스터마이징 가능한 NPC 캐릭터 등, 2월 마켓플레이스 세일에는 누구나 사용할 수 있는 에셋이 준비되어 있습니다. 지금 바로 엄선된 이달의 콘텐츠를 50% 할인된 가격으로 만나보세요.
    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요
    뉴스

    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요

    레트로 카페, 전원풍 인테리어, 로우 폴리 마을, 커스터마이징 가능한 NPC 캐릭터 등, 2월 마켓플레이스 세일에는 누구나 사용할 수 있는 에셋이 준비되어 있습니다. 지금 바로 엄선된 이달의 콘텐츠를 50% 할인된 가격으로 만나보세요.