2019년 9월 6일
최신 레이 트레이싱 기능을 이용한 Evil Eye Pictures의 UE4 브랜드 비주얼 제작
초반에는 구글의 리얼타임 엔진과 파이프라인인 스토리 개발 키트(Story Development Kit)를 활용해 작업했습니다. 2018년 말에는 언리얼 엔진으로 실험을 시작했으며, 포토리얼 시각 효과를 실시간으로 재현하고자 했습니다. “VFX 조감독 스티브 델루카(Steve DeLuca)가 당시 작업 중이던 디지털 애셋을 시험용으로 활용해 UE4에서 포토리얼 인바이런먼트를 구축하려 했습니다” 회사의 공동창업자이자 크리에이티브 디렉터인 댄 로젠(Dan Rosen)이 말합니다. “감독님에게 이 빌드업을 VR 헤드셋으로 보여드렸더니, 아주 감탄하셨습니다.”
“이머전스”의 콘셉트
에픽이 이블 아이 픽처스에 시그라프 브랜드 비주얼 프로젝트를 의뢰했을 때, 제작팀은 이 새로운 도전에 대한 기대감에 들떴습니다. “눈에 보이는 것을 넘어선 비주얼을 소프트웨어로 창조하여, 언리얼 브랜딩에 이바지할 수 있는 기회로 생각했습니다.” 앰비언트 도입을 위해, 제작팀은 무한 반복되는 단편 영화 제작을 계획했습니다. 이 영화는 전부 엔진으로 렌더링되고, 리얼타임 레이 트레이싱과 같은 최신 UE4 기능을 이용했습니다.이 작업에 적합한 디자인 리드를 찾는 것이 중요했습니다. “각 프로젝트 디자인은 미적인 면과 과학적인 면에서 도전이었습니다.” 로젠이 설명합니다. “이 작품의 미적인 면에서는 코너 그레벨(Conor Grebel)과 협업하고 싶었습니다. Cinema 4D와 언리얼 엔진을 활용해 작업하는 뛰어난 디자이너이자 모션 아티스트입니다.” 그레벨은 프로젝트 리드 디자이너로 빠르게 합류했습니다.
“에픽게임즈와 초반에 나눈 대화를 보면, 모션 그래픽 디자인과 매력 요소를 프로젝트에 통합하는 것에 대한 논의가 많습니다.”라고 그레벨이 말합니다. “이블 아이로부터 연락을 받은 건 엄청난 행운이었습니다. 모션 그래픽에서 게임 아트와 디자인으로 진로를 전환하던 중이었거든요. 언리얼 엔진을 향한 새로운 애정을 가지고, 저와 유사한 디자인 경력을 쌓은 다른 아티스트가 매력을 느낄 예술을 창조할 것이라는 생각에 들떴습니다.”
그레벨은 형성에서 붕괴로 이어지는 여정을 콘셉트로 고안했습니다. 앰비언트 단편 영화 이머전스 는 추후 개발 잠재력을 지닌, 훨씬 더 광범위한 콘셉트 중 일부분에 불과합니다.
“저는 파라미터 디자인 기법을 활용하여 끝없이 복잡해 보이는 형태를 만들고 싶었습니다.” 그레벨이 덧붙입니다. “자연의 복잡성과 반복성에서 영감을 받아, 인공 구조와 생물 형태를 결합한 무언가를 만들고 싶었죠. 브루탈리즘 건축양식에는 자연적인 면과 대조되는 부분이 있습니다. 이 건축 양식은 수 세기에 걸친 공학과 미학 발전의 집약체이며, 절제되고 미니멀한 대작으로 마무리됩니다. 이 양식에 나타나는 앵글, 머티리얼, 셰이프는 완전히 인공적입니다. 이 양식의 미학을 가져와 유기적이고 프랙탈 적인 발달의 맥락에서 재해석하는 것은 아주 흥미로운 디자인 대조였습니다.
“이 프로젝트 디자인 초기 단계에서는 스스로 계속 질문을 던졌습니다. ‘이 디자인은 영감을 주는가? 엔진으로 구현했다는 사실에 UE4 아티스트가 감명을 받을까? 모션 그래픽 아티스트가 UE4에 감명을 받을까?' 저는 이런 질문을 되물으며 진행 상황을 점검했습니다. 디자인이 신선하고 독특하다는 인상뿐만 아니라, 게임 엔진을 사용했다는 점에도 강한 인상이 남기를 바랐습니다. ‘도대체 이걸 어떻게 만든 거지?’라는 반응을 끌어내자는 목표는 저희 팀에 엄청난 원동력이 되었습니다.” 라고 설명합니다.
그리고 목표를 달성했습니다. 많은 사람들이 아름다운 결과물을 보고 축하해줬으며, 유튜브에서 “어떻게 한 건가요?”라고 물어보는 댓글도 많았습니다. 제작팀은 상세한 작업 내용을 공개했습니다.
라이트, 섀도, 프랙탈 패턴 생성
프로젝트 기술 감독 델루카는 다음과 같이 설명합니다. 이머전스 의 커다란 구조물 3개는 옥탄트(octant) 8개로 구성되었고, 각 옥탄트에는 적절한 축면에서 역 스케일링 된 똑같은 애니메이션이 적용되어 3차원으로 동작을 정확하게 미러링되는 오브젝트를 생성합니다.각 옥탄트는 일련의 브랜치로 구성되었고, 각 브랜치에는 더 작은 장식물이 있으며, 장식물 자체도 개별 키트 조각으로 이루어졌습니다.
“이머전스 라는 제목이 보여주듯이, 단일한 파츠 자체는 단조롭고 상당히 단순하지만, 다른 파츠와 결합하면 독특하고 복잡해집니다.” 델루카가 말합니다. “한 옥탄트를 손수 제작하면 브랜치, 장식물, 심지어 단일 키트 조각 애니메이션도 아트 디렉트할 수 있습니다.”
디자인 프로세스에서 가장 먼저 할 일은 브루탈리즘 건축 양식 파트의 키트배시(kitbash) 세트를 제작하는 겁니다. 그레벨이 먼저 Maya에서 시작해, 미리 정해진 그리드 크기에 다양한 방법으로 끼워 맞출 수 있는 모듈러 파츠 25개를 제작합니다.
그다음 Cinema 4D의 모그라프 툴(mograph tool)로 빠르게 레이아웃을 스케치합니다.
마음에 드는 레이아웃을 찾은 다음, 개별 로우 폴리 파츠를 ZBrush로 불러옵니다. ZBrush는 섬세한 노멀을 조각할 때 기반으로 활용할 수 있습니다. ZBrush에서 하이 폴리 조각을 활용해 섭스턴스 페인터(Substance Painter)에서 오래된 시멘트 머티리얼을 맞춤 제작합니다. 이렇게 완전히 고정된 전체 구조 골격에 베이스 셀 블록과 클러스터 대형이 배치됩니다.
이제, 프로젝트의 시네마토그래퍼이자 애니메이션 리드인 이의성(Euisung Lee)씨가 나설 차례입니다. 이 씨가 Maya에서 작업하면서 클러스터 레벨과 전체 구조 레벨에 모션을 추가합니다.
“가지가 움직이고 애니메이션 장식물이 달린 크리스마스 트리를 상상해 보세요. 이 간단한 비유로 프로세스와 UE로 애니메이션 리그를 불러오는 기법을 이해할 수 있습니다.”라고 그가 설명합니다. 저는 브랜치 모션 조인트와 클러스터 모션 루프만 포함된 FBX 파일 하나를 익스포트했습니다. 리그를 세팅한 후에는 애니메이션 반복이 그렇게 힘들지 않았습니다.”
이어서 델루카가 설명합니다. “일단 Maya에서 단일 옥탄트에 애니메이션을 구현한 후 UE4로 가져오고 블루프린트에 추가했습니다. 지오메트리 셰이더를 배정할 블루프린트에 추가해 나머지 옥탄트 7개에 애니메이션을 미러링합니다.” 오직 이 시점에서만 각 거대 구조물의 최종 애니메이션을 전부 볼 수 있었습니다. 애니메이션 3개는 각각 초기 형성, 변형, 붕괴까지 5분 정도 소요되도록 제작했습니다.
“모든 구조물에 라이트 패스를 초벌 적용한 후 카메라 움직임을 만드는 프로세스를 시작했습니다. 5분 내내 구조물 주변 또는 사이를 돌아다니거나 복잡한 구조에 숨겨진 독특한 구성을 발견하는 카메라 움직임을 만들기 시작한 거죠.” 델루카가 말합니다. “이 프로세스 막바지에 3시간 분량의 ‘긴 영상’이 나왔고, 편집자 매트 맥도널드(Matt McDonald)가 하루도 빠짐없이 작업해 최종 5분 분량의 편집본으로 조합했습니다. 편집본을 여러 번 리뷰한 뒤, 각 샷의 라이팅을 다시 점검하였습니다. 라이팅을 가다듬을 뿐만 아니라, 작품의 중립적인 색 조합에서 다채롭고 초현실적인 색 조합으로 변하다가 다시 단순한 누아르 풍으로 돌아오는 진화 과정을 제작했습니다왔습니다.”
도전 과제 극복
제작팀이 사용한 지오메트리의 복잡성과 프리뷰로 제공된 언리얼 엔진 코드의 생소함을 고려하면, 제작 과정에서 여러 문제가 발생해여 극복했다는 사실이 놀랍지 않습니다.“저희는 제작 과정에서 가능성의 한계를 계속 뛰어넘으려 했습니다. 에픽도 엔진을 개선할 수 있도록 문제가 발생할 때까지 기능들을 사용해볼 것을 적극적으로 장려했습니다.” 프로듀서 요벨 슈워츠(Yovel Schwartz)가 말합니다.
“엔진의 정밀함은 당황스러울 정도로 복잡해서 다양한 접근법을 활용하여 최선의 접근법을 발견하기 전까지 애가 탈 만큼 목표 부근에 겨우 도달하게 됩니다.” 요벨이 설명합니다. “저희는 최신 기능을 이용하여 매번 한계에 도달할 때까지 밀어붙였습니다. 극복해야 하는 기술 문제가 자연스럽게 계속 발생했습니다. 하지만 이런 도전으로 엔진이 더욱 강력해지며, 인상적인 결과물이 나오게 됩니다. 엔진의 광범위한 기능이 한계를 뛰어넘는 데 원동력이 됩니다.”
제작팀의 또 다른 극복 과제는 초정밀한 클로즈업 샷에 필요한 텍스처 크기를 다루는 것이었습니다.
“기존에는 파츠를 한 UV 영역을 공유하는 네다섯 개의 그룹으로 나눴지만 UE4에서 모든 것을 살펴보니 문제점이 드러났습니다.” 그레벨이 설명합니다. “파츠들은 신(scene)에서 수천 번 인스턴싱 됩니다. 대부분의 스크린 공간은 아주 작지만, 영화 속에서는 스케일이 끊임없이 변하기 때문에 카메라가 일부 지오메트리에 매우 가까이 놓이죠. 결국, 저는 지오메트리 조각마다 고유한 UV 영역에 4K 텍스처를 적용해야 했습니다. 대부분 샷에서는 과한 작업이긴 했지만, 클로즈업의 충실도에는 아주 큰 도움이 되었습니다.”
이어서 이 씨는 팀에 익숙한 Maya가 아닌 언리얼 엔진의 시퀀서에서 카메라 워크를 디자인하는 법을 어떻게 배웠는지 설명합니다. 최종 마스크를 입히고 미러링한 리그는 엔진에서만 볼 수 있기 때문입니다. “저희는 빠르게 적응했습니다. 대부분은 샷을 살펴보고 구성하기에 더 나은 워크플로였습니다. 최종 라이팅과 이펙트를 눈으로 볼 수 있었기 때문이죠.”라고 이 씨가 말합니다.
“Maya에서 UE4로 애니메이션 애셋을 이주하는 게 가장 어려웠습니다. 엔진에서 레이 트레이스드 글로벌 일루미네이션(GI)과 섀도를 활용하고 싶었기 때문입니다.” 델루카가 말합니다. “사전에 구운 라이팅을 활용하는 요소가 없기 때문에 모든 요소가 4K로 구현 가능한 해상도에서 고퀄리티의 결과를 산출하는 데 상당히 높은 샘플을 요구했습니다.“
더 많은 GI 샘플을 사용하도록 신의 복잡성을 낮추기 위해 장식물 애니메이션을 스켈레탈 메시가 아닌 스태틱 메시로 불러와야 했고, 거대 구조물을 위해 베이스 스켈레탈 메시의 조인트 소켓에 손수 붙여야 했습니다.
결국 그 노력은 빛을 발했습니다. “이 영화를 완성한 가장 핵심적인 기능은 레이 트레이스드 글로벌 일루미네이션입니다.”라고 그레벨이 말합니다. “레이 트레이싱을 활성화한 순간 신에 생기가 돌았죠. 디자인을 프리비즈에서 예술 작품으로 발전시키는 마지막 퍼즐 조각이었습니다. 라이트 반사와 정확한 섀도가 극적으로 개선되어 레이 트레이싱 기능을 강조하는 방향으로 프로젝트 초점이 맞춰졌습니다.”
새로운 언리얼 엔진 로고 애니메이션 디자인
제작팀이 전달해야 할 패키지의 또 다른 요소는 영상 인트로에 사용할 새로운 언리얼 엔진 로고 애니메이션이었습니다. 이 프로젝트에서 로젠은 크리에이티브 디렉터를 맡고, 그레벨은 다시 한번 디자인 프로세스를 이끌고, 델루카는 최종 룩을 검수하고, 이 씨는 카메라와 영화 촬영 기법을 다뤘습니다.또한 언리얼 엔진의 브랜딩을 돕고 레이 트레이싱 기능을 선보일 또 한번의 기회라고 생각했습니다. 이 작품이 엔진으로 실시간 렌더링 되었기 때문이죠. 그레벨이 콘셉트 여러 개를 생성하고 제작팀이 그중 하나를 선택했는데, 해당 콘셉트는 긴 라이트 바, 혹은 그레벨이 만든 용어대로 “라이트 라인(light line)”을 반영합니다. 그레벨은 서브스턴스와 Cinema 4D에서 작업하면서, 완전히 반사되는 표면과 완전 거친 표면을 나란히 배치하는 셰이더를 생성하였고, 두 표면 간의 애니메이션을 만들어 “디프로스트(Defrost)”로 불리는 비주얼 효과를 제작했습니다.
“독창적이고 진정으로 ‘언리얼’만의 느낌을 낸 디자인의 균형을 함께 찾아 나가려 했습니다.”라고 로젠이 말합니다. “UE4 리얼타임에서 실행되었기 때문에, 전체를 미세하게 수정하고 결과를 바로 확인할 수 있었습니다."
“언리얼의 역동적인 면은 메인 로고 신에서 샷 한두 개만 분리해 독립된 결과물을 만들 수 있다는 점입니다.”라고 말을 계속 이어갑니다. “일부 장면에서 카메라, 라이팅, 색상을 바꿔서 언리얼 로고를 시그라프 쇼 발표자 배경 화면으로 띄울 수 있었습니다. 그러고 나서 스티브가 로고를 다른 각도에서 찍어서 에픽 부스의 프린트에 사용했습니다. 순식간에 처리할 수 있었습니다.”
리얼타임 기술 미리 보기
업계에서는 리얼타임 기술의 미래에 있어 어떤 발전을 기대하고 있는지 물어보자, 많은 이야기를 해주었습니다.이블 아이 픽처스의 공동 창업자이자 편집자인 매트 맥도널드는 새로운 세계에서 기술이 어떤 잠재력을 보여줄 것인지 이야기합니다. 그동안 미디어와 엔터테인먼트를 수직으로 분리하던 세계가 이 두 가지를 융합하기 시작했으며, 인터랙티브 경험도 개인마다 커스터마이징 할 수 있습니다.
“이런 유형의 하이브리드 공간은 내러티브가 되어 음악가, 작곡가, 심지어 청중을, 또는 게임과 영화, 뮤지컬을 아우르는 경험을 만들 수 있습니다.” 매트가 말합니다. “커스터마이징은 오브젝트와의 상호작용으로 가능하며, 공간 내 움직임 활용으로도 가능합니다. 이제 시각, 청각, 촉각 매체도 끊임없이 결합해 모든 것을 아우를 수 있습니다.“
“리얼타임 기술이 협업의 경계를 무너뜨리고 있다는 점이 제작자로서, 소비자로서 정말 흥미롭습니다. 과거에는 뚜렷하게 구분되던 의미도 흐릿해지고 있습니다. 저는 그동안 다른 사람들을 위한 더 고정되고 한정된 경험을 만들어왔지만, 리얼타임 기술은 시청자 또는 플레이어가 스스로 경험을 만들어 낼 힘과 자신만의 버전을 나중에 다시 경험하거나 다른 사람들과 공유할 수 있도록 저장할 힘을 만들어줍니다."
또한 로젠은 리얼타임 기술을 영화, 게임, VR, AR 융합에 지속해서 사용할 수 있기를 기대합니다. “VR 전망이 어떻든 간에, 저희 창작물로 들어가 직접 상호교류하는 것이 즐거웠습니다.”라고 로젠이 말합니다. “소프트웨어는 따라잡았지만, 이제는 동일한 심리스 방법으로 호환되는 하드웨어를 원합니다. 다양한 스크린, 프로젝션, 비주얼에 언리얼 엔진을 활용하는 것은 모든 시청자와 이미지를 공유하는 흥미로운 방법입니다."
슈워츠는 이 주제를 다른 시각에서 바라보며 덧붙입니다. “전통적인 내러티브, 게임, 다른 인터랙티브 경험이 융합되고 있는 아주 흥미로운 시점입니다.”라고 슈워츠가 말합니다. “단일 기술 공간에서 디자인하고, 라이트를 배치하고, 렌더링하고, 합성할 수 있다면, 압도적인 수준으로 자유로운 개발을 진행할 수 있습니다. 버추얼 프로덕션에서 모션 그래픽에 이르기까지 이미지 제작 업계가 전반적으로 영향을 받을 것입니다.”
그레벨은 모션 그래픽과 디자인 경험에서 얻은 관점을 들려줍니다. “레이 트레이스드 라이팅, 섀도, 리플렉션을 60fps 이상으로 구현하는 능력에 가장 관심이 많습니다.” 그레벨이 열의에 찬 목소리로 말합니다. “옥테인(Octane)과 레드시프트(Redshift)가 3D 디자인 커뮤니티를 장악하고 레이 트레이스 렌더링을 업계 표준으로 만들면서, 게임의 판도가 바뀌었습니다. UE4의 인터랙티브 능력이 레이 트레이싱의 시각적 아름다움과 결합하면 확실히 게임의 판도가 다시 한번 뒤집힐 것입니다.”
델루카는 모든 그래픽 업계의 아티스트가 리얼타임 렌더링으로 보다 창의적으로 생각하고, 기술적인 문제의 부담을 덜고 자유로워지는 건 시간문제라고 생각합니다. “포토리얼한 퀄리티에 하드 서피스 오브젝트 몇 프레임을 밤새 렌더링하는 걸 목격한 경험에 의하면, 풀 렌즈 효과 적용 후 30fps로 재생하면서 포토리얼한 레이 트레이스드 신의 라이트를 재조정할 수 있다는 것은 믿기 어려울 정도로 놀랍습니다!” 델루카가 외칩니다.
시네마토그래퍼 이 씨도 동의합니다. “리얼타임 그래픽은 최근 크게 발전했고, UE는 분명히 그 선두에 있죠. 이런 기술을 모두가 이용할 수 있다는 점이 정말 기쁩니다. 이 기술이 업계 전반의 협업과 공유를 촉진하고 모든 것이 독점적이고 값비싼 대체 현실보다 더 빠른 속도로 발전한다는 점은 확실합니다.”라고 이씨가 설명합니다. “개인적으로 말씀드리자면, 리얼타임 워크플로가 각자의 개발 프로세스와 가능성에 완전 새로운 관점을 선사한다는 점이 정말 좋습니다. 때로는 겁 나기도 하죠. 하지만 같은 작업을 오랫동안 반복하는 과정에서 잃었던 자극을 다시 느낄 수 있어 행복합니다.”
슈워츠가 마지막 한 마디를 전합니다. “프로듀서로서 느끼는 바는, 모든 것이 예술적인 협업을 할 수 있도록 제공된다는 겁니다. 어떻게 하면 최고의 이야기를 들려줄 수 있을까요? 몰입도 높은 경험을 만들까요? 어떤 예술을 창조하더라도, 항상 목표 도달을 도와주는 툴세트가 있을 겁니다. 리얼타임 기술을 리소스에 추가했을 때, 전체 프로덕션 파이프라인에서 창의적으로 반복 작업을 할 수 있는 능력이 정말 놀랍습니다. 일종의 깨달음이죠.“라고 말합니다.
“어떤 작가가 소설을 반쯤 썼을 때, 2장으로 돌아가 수정하는 것이 더 낫다는 걸 깨닫게 되어 다시 작업하기로 결정해도 결과가 크게 달라지지는 않습니다. 하지만 영화, 게임 또는 오늘날의 VR과 AR 경험과 같이 협업이 필수인 예술 형태는 절대 그렇지 않았습니다. 예를 들면, 몇 주에서 몇 달 동안 낮을 배경으로 작업한 CG 신 대신 야경 신을 보여달라고 한다면, 실존의 위기가 느껴지던 때가 있었죠. 이제는 이런 수정 사항을 꽤 빠르게 확인할 수 있어서 수정하는 시간이 훨씬 줄어들게 되죠!"
리얼타임 기술이 여러분의 업계에 어떤 영향을 주는지 알고 싶으신가요? 지금 바로 언리얼 엔진을 다운로드하세요.