Joe는 언리얼 엔진을 사용하는 모든 Journey 프로젝트의 개발을 이끌고 있습니다. 3D와 게임 분야에서 경력이 있는 조는 리얼타임 그래픽 및 애플리케이션에 대한 애정을 Journey에서 몰입감 넘치는 프로젝트를 개발하는 데 쏟아붓고 있습니다. 대표적인 프로젝트에는 홍콩 피크 트램의 디지털 숲과, 키디야 시티와 같은 복잡한 랜드마크 프로젝트를 위한 버추얼 프로덕션 촬영 등이 있습니다.
분위기 있는 투와이크 산맥을 배경으로 한 키디야 시티(Qiddiya City)는 사우디아라비아에서 가장 주목받는 메가 프로젝트입니다. 25개 지구로 구성되어 있으며 면적이 376제곱킬로미터에 달하는 이 방대한 엔터테인먼트 도시는 중동 최대 규모의 테마파크와 세계적인 수준의 새로운 모터스포츠 레이스 트랙, 아트 센터, 골프장, 호텔, 콘서트장 등이 들어설 예정입니다.
이 프로젝트를 단순히 '대규모'라고 설명하기에는 부족합니다.
키디야 시티에서 제공하는 것이 얼마나 폭넓은지 알리고, 더 나아가 키디야 시티의 스토리를 전달하는 일은 저니(Journey) 스튜디오인 스퀸트/오페라(Squint/Opera)에게 맡겨졌습니다.
팀은 언리얼 엔진 기반 버추얼 프로덕션 기법과 리얼타임 시각화를 사용하여 다양한 측면에서 키디야 시티의 인지도를 쌓고 홍보하기 위한 다양한 영상을 제작했습니다.
에픽은 팀과의 인터뷰를 통해 세계 최대 규모의 가장 복잡한 프로젝트를 진행한 경험에 대해서, 그리고 원활하고 매끄러운 영상 제작 과정에서 리얼타임 기술을 활용한 방법에 관해 자세한 이야기를 들어보았습니다.
안녕하세요! 먼저 자기소개를 부탁드립니다. 성함과 저니에서 맡고 있는 역할, 경력에 대해 말씀해 주세요.
저는 조셉 용(Joseph Yong)이며, 저니의 언리얼 엔진 리드 개발자입니다. 개발자, 테크니컬 아티스트, 3D 제너럴리스트 경력이 있고, 언리얼 엔진으로 작업한 지는 12년에서 13년 정도 됐습니다. 5년 전 저니에 입사해 언리얼 엔진 팀을 처음부터 꾸리는 일을 맡았습니다.
저니의 스튜디오 중에는 20년 넘게 운영한 곳도 있는데, 언리얼 엔진을 언제, 어떻게, 왜 처음 사용하기 시작하셨나요?
저니는 2019년에 언리얼 엔진을 사용하기 시작했는데, 언리얼 엔진이 발전함에 따라 용도를 발전시키고 확장해 왔습니다. 초반에는 프로젝트 제안을 위해 사용하기 시작했고, 내부적으로 VR 역량 개발에 사용하기도 했습니다. 내부 크리에이티브 팀이 공간을 탐색할 수 있었죠.
그러다 건축 업계에 변화가 있었고, 모두가 설계용 툴을 리얼타임으로 전환하기를 원했습니다. 특히 렌더링 제작 기능 때문이었죠. 프로젝트의 전반적 설계가 계속해서 발전하는 상황에서 언리얼 엔진은 탁월한 비주얼을 빠르게 렌더링하여 제공할 수 있는 확실한 선택이었습니다.
Journey 이미지 제공
더 넓게 보면 게임 엔진의 빠른 반복작업 시간과 인터랙티브한 특성으로 클라이언트와 팀 내에서 보다 효율적으로 소통할 수 있었습니다.
2022년 언리얼 엔진 5가 출시된 후, 저희는 사용 범위를 한층 넓혀 디지털 콘텐츠 제작에도 사용할 수 있게 되었습니다. 현재는 박물관 프로젝트에서 미디어를 규모와 상황에 맞게 미리 확인하는 데 언리얼 엔진을 활용합니다. 미디어를 울퉁불퉁한 화면에 투영하거나 곡면 벽에 보여줘야 하는 경우 특히 유용합니다. 그러한 비주얼은 컴퓨터 화면에서 보는 것만으로는 확실히 알 수가 없습니다.
또한 저희는 모든 프로젝트에 신속하게 활용할 수 있는 언리얼 툴과 플러그인 라이브러리를 구축해 왔습니다. (예를 들면 PCG 크라우드 생성 플러그인이 있습니다.) 매우 빠르게 돌아가는 업계에서 성공하는 데 도움이 되었죠.
키디야 시티를 위해 제작한 영상에 관해 말씀해 주세요. 어떤 작업을 얼마 동안 진행했으며, 영상은 어디에 사용되나요?
키디야 시티 마케팅 팀은 선구적인 스타디움에서 애니메이션 마을까지 도시의 여러 흥미로운 지구를 알리고 홍보하는 조직화된 캠페인의 일환으로 영상을 사용하고 있습니다. 버추얼 영상 제작 기법을 활용해 저니는 360제곱킬로미터에 달하는 세계 수준의 스포츠와 엔터테인먼트 명소를 선보일 수 있었습니다. 포뮬러 원급 레이스 트랙부터 북미 외부의 최초 식스 플래그(Six Flags) 테마파크, 일류 문화 및 예술 센터 등이 있습니다.
Journey 이미지 제공
영상은 또한 키디야의 기념비적인 명소가 도시와 어떻게 공존하는지를 강조해, 현실과 융합되고, 현실과의 경계를 흐리게 하며, 현실을 증강하는 다차원 엔터테인먼트 구역을 구현합니다.
한 영상에서는 키디야 도심을 굽이치게 될 미래의 모터스포츠 트랙을 선보입니다. 빠른 컷과 넘치는 에너지로 영상은 레이스 카가 트랙을 질주하며 롤러코스터, 유리 바닥 수영장과 같은 명소를 지나치는 모습을 담습니다.
언리얼 엔진으로 완성된 작업은 일반적인 영상 제작과 비슷한 구조입니다. 내러티브, 프리 프로덕션, 단방향 프로덕션, 편집, 사운드, 평가로 이루어져 있죠. 그러나 버추얼 프로덕션이었기 때문에 거추장스러운 그린 스크린에서 벗어나 키디야 시티를 위해 초현실적인 가상 배경을 만들었습니다. 언리얼 엔진 버추얼 프로덕션 기법으로 배우, 제작진, 시청자에게 견줄 데 없는 몰입감을 제공하는 3차원 가상 공간을 구현할 수 있었습니다.
시작부터 완성까지, 초기 내러티브부터 버전 관리까지 영상은 4개월가량 걸렸습니다. 오래 걸린 것 같아 보일 수도 있지만, 언리얼 엔진의 오버나이트 렌더 덕분에 아주 신속하게 처리된 것입니다. 언리얼 엔진을 사용하기 전에는 렌더링하는 데 주말 내내, 또는 그 이상의 시간이 걸렸습니다. 이제는 샷 하나를 밤새 다시 렌더링할 수 있습니다. 완전한 텍스처에 모든 부가 기능을 적용할 수 있고, 최종 픽셀을 훨씬 빨리 확인할 수 있습니다.
포토리얼리즘을 반드시 달성해야 했다든지, 프로젝트의 광범위함을 전달해야 했다든지 등 프로젝트의 '필수 요소'는 무엇이었으며, 언리얼 엔진은 이에 어떤 도움이 되었나요?
무엇보다 프로젝트가 흥미진진해야 했죠. 서킷을 질주하는 레이스 카의 속도부터 진동, 음악까지, 영상은 키디야 시티 모터스포츠 트랙의 에너지와 소음을 온전히 전달해야 했습니다. 저희에겐 신선한 변화였죠. 대다수 프로젝트가 느린 패닝 샷과 느긋한 카메라워크 위주였으니까요. 이 프로젝트는 액션으로 가득해야 했습니다. 키디야의 마스터플랜을 조명과 흥분으로 가득한 재밌고 활기찬 장소로 묘사하기 위해서죠.
이러한 효과를 달성하기 위해 버추얼 프로덕션 기법으로 방향을 틀었습니다. 버추얼 프로덕션에는 일반적으로 '볼륨'이라고 하는 대규모 3차원 LED 스테이지가 사용됩니다. 실제 환경의 리얼타임 '버추얼 트윈' 배경을 투영할 수 있죠. 카메라가 배경의 모션을 따라 이동하여 촬영된 샷에 사실적인 깊이감과 진짜 같은 움직임을 더합니다. 버추얼 프로덕션에서는 VFX 레이어와 포스트 프로덕션이 필요하지 않으며, 이는 배우가 스튜디오를 떠나지 않아도 '촬영 현장'에 있을 수 있음을 의미합니다.
Journey 이미지 제공
버추얼 프로덕션 덕분에 렌더링하고 있는 샷의 디테일을 빠르게 확인할 수 있었는데, 아주 핵심적인 역할을 했죠. 기존 방식으로 샷을 촬영했다면, 합리적인 기간 내에 사전 시각화하여 고객에게 비전을 전달하기가 어려웠을 것입니다. 하지만 언리얼 엔진의 버추얼 프로덕션으로 모든 것을 실시간으로 확인하여 샷 내에서 모두 조정할 수 있었습니다. 컴퓨터가 렌더링을 마칠 때까지 기다릴 필요 없이, 만들고 있는 것을 바로바로 확인할 수 있었습니다.
다른 게임 엔진을 사용하거나 오프라인 렌더링을 선택하는 대신 언리얼 엔진으로 이러한 영상을 만드는 게 합리적이었던 이유는 무엇인가요?
지난 5년 동안 언리얼 엔진은 효율성 때문에 없어서는 안 될 툴이 되었습니다. 경우에 따라 오프라인 렌더가 아직 비주얼 측면에서 우위에 있을지는 몰라도, 작업 시간 측면에서는 비교도 되지 않습니다.
Journey 이미지 제공
몇 년이 아닌 두세 달 만에 프로젝트를 수행해야 하는 업계에서 일하는 저희는 스토리보드에서 최종 픽셀까지 작업해야 하고, 각 단계에서 매우 효율적이면서 순조롭게 소통해야 합니다. 저희가 전하려는 바를 완전히 전달할 수 있는 제대로 렌더링된 샷을 빠르게 확보하면 할수록 고객의 피드백도 빠르게 받아 반복작업할 수 있습니다. 샷을 다시 렌더링하는 데 2주도 걸리지 않는다면 훨씬 짧은 시간에 훨씬 더 많은 유연성과 창의성을 발휘할 수 있죠.
언리얼 엔진으로 언제든 버추얼 프로덕션을 활용할 수 있어, 이 또한 시간을 절약해 줍니다. 사전 계획과 테크비즈에 많은 시간을 투자해 컴포짓에 걸리는 시간을 줄일 수 있습니다. 간단히 말해, 언리얼 엔진이 없었다면 저희가 명성을 얻은 이런 종류의 프로젝트는 제공할 수 없었을 것입니다.
영상 제작에 활용한 언리얼 엔진 기능은 무엇이며, 어떤 장점을 가져다주었는지 말씀해 주실 수 있나요?
특정 기능 하나만 꼭 집어 말하기는 어렵네요. 기본적으로 언리얼 엔진에 제공된 모든 것을 활용했거든요. 그럼에도 불구하고, 핵심 작업에 없어서는 안 될 특정 기능들이 있습니다.
루멘은 리얼타임 글로벌 일루미네이션과 리플렉션을 씬에 통합해 라이팅이 사실적으로 보이게 만듭니다.
월드 파티션 - 데이터 레이어와 함께 사용하면 방대한 스케일의 맵을 생성할 수 있고, 필요할 때마다 특정 부분만 로드할 수 있습니다.
나나이트로는 픽셀 단위의 디테일을 제공하여 실제 제작에 사용할 수 있는 퀄리티의 모델을 게임 엔진에서 사용할 수 있습니다. 나나이트가 없었다면 샷을 만들 수 없었을 것입니다.
프로시저럴 콘텐츠 생성(Procedural Content Generation, PCG) 프레임워크를 통해서는 모든 복잡한 콘텐츠와 반복적인 툴을 제작할 수 있습니다. 다른 많은 에셋과 더불어 나무가 가득한 숲을 빠르게 자동으로 채우는 방법이죠.
무비 렌더 큐는 엄청난 해상도의 샷과, 포스트 프로덕션에서 추가 패스로 렌더링하는 기능을 제공합니다.
하지만 실제로 저니에서는 언리얼 엔진 5에 있는 모든 기능을 활용했습니다.
이 프로젝트를 진행하는 데 있어 가장 큰 과제는 무엇이었으며, 어떻게 해결했나요?
도시 전체를 나타내야 했기 때문에 키디야 마스터플랜의 규모는 어마어마했습니다. 그것만으로도 기술적 어려움이 있었죠. 마스터플랜의 모든 데이터가 한꺼번에 로드되면 씬에서 움직일 수도 없습니다. 데이터가 너무 많아 탐색이 느리고 어려웠죠. 다행히도 언리얼 엔진의 월드 파티션 기능 덕분에 씬에 지장을 주지 않고도 필요한 부분만 로드할 수 있었습니다.
Journey 이미지 제공
또 하나의 과제는 사실감이었습니다. 아직 존재하지도 않는 트랙 위의 레이스 카를 촬영할 수는 없었지만, 스튜디오에 레이스 카를 가져다 놓을 수는 있었습니다. 실물과 최대한 가까워 보이도록 만들기 위해, 라이브 액션 실물 소품(레이스 카, 롤러코스터 객차 등)을 버추얼 프로덕션과 결합했습니다. 다음으로는 운전자의 헬멧 바이저에 비치는 리플렉션과 같은 사소한 디테일을 고려해야 했습니다. 트랙을 질주하면서 함께 바뀌어야 했죠. CGI를 사용했다면 이러한 리플렉션이 가짜처럼 보였을 테고, 컴포짓하는 데도 시간이 너무 많이 걸렸을 것입니다. 언리얼 엔진의 루멘 기능이 필요한 앰비언트 라이트와 리플렉션을 모두 제공해 주었기 때문에 씬의 비주얼을 훨씬 더 사실적으로 보이게 만들었습니다.
결과적으로 키디야 마스터플랜을 포괄적이고 액션으로 가득하게 표현해 낼 수 있었습니다. 획기적인 콘셉트 구현 방식으로 제작된 것이죠. 공개 후 1시간도 되지 않아 사우디아라비아의 X의 인기 토픽에 올랐고, 650건이 넘는 언론 보도와 3억 6,300만 회가 넘는 소셜 미디어 노출 수를 발생시켰습니다.
리얼타임 기술이 기존의 영상 제작 방식과 비교해 워크플로에 어떤 변화를 가져왔나요?
리얼타임 기술 덕분에 크리에이티브 팀과 프리 프로덕션 팀이 긴밀히 협업할 수 있습니다. 즉, 마스터플랜을 빠르게 검토하고, 촬영 구도를 찾고, 샷을 연결해 내러티브를 정의하며, 무엇이 적합한지 확인할 수 있죠. 엄청난 시간을 절약할 수 있고, 프로젝트를 빠르게 반복작업하는 데 도움이 됩니다. (촬영 라이브스트림을 클라이언트에게 전송하여 샷을 찍으면서 바로 피드백을 받아본 적도 있습니다.)
Journey 이미지 제공
이 외에도 리얼타임 기술을 활용하면 영상을 순서대로 촬영하여 스토리보드에 맞게 촬영할 수 있습니다. 하지만 필요한 경우 순서를 조금 바꿀 수도 있죠. 누군가 촬영에 못 나온 경우 기다리는 동안 배경을 바꾸고 다른 샷을 촬영할 수 있습니다. 비슷하게 '황금 시간대'에 샷을 찍어야 한다면 그 황금 시간대를 5시간으로 바꿀 수도 있죠. 이 기술을 활용하면 촬영 당일에 대응할 수 있고, 필요한 샷을 언제든 정확히 얻어낼 수 있습니다.
피크 트램 프로젝트에 언리얼 엔진을 어떻게 활용하였으며, 완성하는 데 도움이 된 특정 기능이 있다면 말씀해 주시겠어요?
홍콩의 주요 관광 명소이자 아시아의 가장 오래된 강삭 철도인 피크 트램(Peak Tram)은 저희가 오프라인 렌더가 아닌 언리얼 엔진으로 단방향 프로덕션 샷을 만들었던 첫 번째 프로젝트였습니다. 연간 4백만 명의 승객에게 이 관광 명소를 알리고 설명하기 위해, 저니에서는 빅토리아 피크의 정상까지 운행하는, 새롭게 단장한 트램을 위해 몰입감 넘치는 경험을 제작했습니다.
Journey 이미지 제공
피크 트램 관광객을 대상으로 한 몰입형 설치물을 만들기 위해 저희는 3개의 화면에서 동시에 상영될 8분짜리 렌더를 만들어야 했고, 샷은 연속적이어야 했습니다. 처음부터 끝까지 14,000프레임에 달했는데, 기존의 렌더 툴로는 불가능한 일이었습니다.
화면 크기도 또 하나의 과제였습니다. 길이는 10미터, 높이는 3~4미터 정도였고, 천장을 가로질러 화면이 하나, 뒤쪽 벽에도 화면이 또 하나 있었습니다. 대기 공간에 한 번에 100명의 사람들이 기다리는데, 관광객이 어디에 서 있든 모두가 즐겁게 시청할 수 있는 무언가를 만들어야 했습니다. 막중한 과제였죠.
언리얼 엔진으로 작업하는 것의 이점은 최종 결과물에 최대한 근접할 수 있었다는 것입니다. 에디터에서 작업하면서 항상 샷의 99%를 보았고, 모두가 같은 맥락에서 화면을 봤습니다. 팬데믹 기간 동안 프로젝트가 진행되었기 때문에 특히나 중요했죠. 모든 것을 원격으로 진행해야 했으며, 홍콩의 클라이언트가 저희의 비전을 이해하고 자신들이 원하는 임팩트가 있는지 평가할 수 있어야 했습니다.
Journey 이미지 제공
그러다 피크 트램 프로젝트 제작 중에 언리얼 엔진 5가 출시되었죠. 갑자기 라이팅 이펙트와 렌더 지원이 훨씬 향상되어 더 많은 것을 할 수 있게 되었습니다. 보통은 프로젝트 중간에 엔진을 바꾸는 건 상당히 위험하기 때문에 하지 않지만, 비주얼 퀄리티가 비약적으로 발전해 고민할 필요도 없었습니다.
이미 많은 인터랙티브 미디어를 제작하고 있었음에도 불구하고, 언리얼 엔진 사용은 큰 진전을 이뤘습니다. 저희 팀은 기존의 렌더러 대신 게임 엔진에서 렌더링하는 방법을 배워야 했지만, 이것은 엄청난 변화를 가져왔습니다. 배우지 않았더라면 결코 화면의 스케일을 이해하거나 구도의 균형을 맞추지 못했을 것입니다.
배터시 발전소 프로젝트에 언리얼 엔진을 사용한 것이 언리얼 엔진을 사용한 다른 작업과 어떻게 달랐나요? 엔진 사용으로 어떤 이점이 있었나요?
Journey 이미지 제공
특히 박물관과 문화 공간에서 크리에이티브로서 저희의 역할은 클라이언트가 스토리를 전달하기 위한 가장 매력적인 방법을 찾아내는 것입니다. 관람객층이 폭넓은 경우 특히 그렇습니다. 8세부터 78세에 이르는 관람객 모두의 관심을 끄는 콘텐츠가 필요하니까요.
Journey 이미지 제공
이를 염두에 두고, 배터시 발전소의 리프트 109(Lift 109) 경험에서 문화적 장소에 대한 정보를 신선한 방식으로 전달하기로 했습니다. 인터랙티브 터치스크린 디스플레이에 언리얼 엔진을 사용해 사용자가 석탄을 터빈으로 옮기고 거대한 실물 샹들리에에 전력을 공급할 수 있도록 한 것이죠. 콘셉트 자체는 단순하지만, 방문객이 즐겁고 다가가기 쉬운 방식으로 터빈의 작동 방식을 이해할 수 있는 한편 현장의 방대한 문화적 서사도 보완할 수 있습니다.
미래에는 디지털 미디어와 물리적 현실이 어떤 분야에서 융합될 것이라고 보시나요? 또, 이러한 공간에서 게임 엔진 기술로 어떤 기회가 주어질 것이라고 기대하시나요?
저희는 박물관과 문화 공간 내에서 저희가 구현할 수 있는 비주얼 퀄리티의 한계에 도전하려 합니다. 또한, 렌더러가 개선됨에 따라 점점 더 많은 작업에 인터랙티브 요소를 활용하겠죠. 언리얼 엔진도 계속 발전되니, 저희가 제공할 수 있는 퀄리티도 점점 더 향상될 것입니다.
건축물과 건설 공간 내에서 저희는 점차 디지털 트윈 쪽에 중점을 두고 있습니다. 이러한 디지털 트윈을 통해 어떤 장소나 아직 존재하지 않는 장소의 시각적 표현을 구현할 수 있습니다. 추가적으로 교통 패턴이나 에너지 소비와 같은 데이터를 시각화하는 데 도움이 되죠. 이는 중요한 대화를 가능하게 하고, 사람들에게 건물에 관한 스토리를 제대로 전달하는 데 도움이 됩니다. 저니에서 하고 있는 일의 중요한 부분을 차지하죠.
게임 엔진 기술이 발전함에 따라 더 많은 것을 이룰 수 있다고 확신합니다. 저니에서는 의도적으로 모든 툴과 스택을 자체적으로 유지 관리하기 때문에 새로운 프로젝트에 착수할 때마다 큰 기술적 진전을 이룰 수 있죠. 그래서 창의력을 발휘하고 최첨단 프로젝트를 제공하는 데만 에너지를 쏟을 수 있습니다.
게임 엔진이 계속 발전해 나가는 과정을 지켜보는 것이 기대됩니다. 현재 산업을 선도하고 있는 저희는 지금보다 훨씬 더 산업이 성장하기를 기대하고 있습니다.
건축을 위한 언리얼 엔진 살펴보기
건축 프로젝트의 시각화에 언리얼 엔진이 어떻게 사용되는지 자세히 알아보고 싶으신가요? 건축 허브를 확인해 보세요.
디지털 에셋을 검색, 구매, 판매, 그리고 공유할 수 있는 원스톱 마켓플레이스 '팹(Fab)'이 출시되었습니다! 이 새로운 마켓플레이스는 모든 산업의 크리에이터가 언리얼 엔진, Unity 3D, UEFN 및 기타 디지털 콘텐츠 제작 툴에서 사용할 수 있는 콘텐츠를 지원합니다.