2017년 5월 4일

Human Race – 리얼 타임 촬영의 신기원을 이룬 단편 영상을 만들어낸 에픽게임즈, The Mill 과 Chevrolet의 기술들

쇼케이스

엔터프라이즈

기술 블로그

저자: Barbara Marshall

자동차 광고는 광고 대상인 자동차처럼 다양한 스타일과 유형으로 출시됩니다. 화려하고, 안전을 생각하고, 튼튼하며, 우아하죠. 하지만 마케터들의 입장에서 보는 광고 제작 과정이란 정말 문제점들이 산더미처럼 산재해 있는 가시밭길입니다. 애초에 신제품을 보지도 못한 채 광고를 만들어야 하는 경우가 많은데다, 설령 신제품을 실제로 볼 수는 있다고 하더라도 경쟁사나 언론으로 기밀이 새어나갈 위험성 때문에 멋진 도로 주행도 시켜보지 못합니다.

하지만 1년 전, 더 밀(The Mill)에서 차체의 모든 부위를 마음대로 조정해, 원하는 그 어떤 차의 영상이라도 생생하게 만들어낼 수 있는 혁신적인 차량 릭, 블랙버드(BLACKBIRD)를 개발해내면서 모든 상황이 바뀌었습니다. 덕분에 시각 효과 아티스트들은 블랙버드를 활용해, 신제품에 대한 접근성이나 기밀 유지와 관련된 위험성을 부담하지 않고도 완전히 실사에 가까운 CG 버전의 새로운 차량 모델들을 렌더링해 낼 수 있게 되어었습니다. 이처럼 마케터들의 입장에서 엄청난 발전이 이루어지기는 했지만, 아직 껄끄러운 문제가 하나 남아있기는 했습니다. 현장에서 실제 차를 보면서 촬영을 할 수가 없으니, 영상 제작의 맥락 상에서 문제가 생기고 마는 것입니다. 자동차의 매끄러운 표면 상에 빛이나 주변 환경이 비치는 것이야말로 영상 제작자가 영상에 생동감을 부여할 수 있는 아주 중요한 부분이니까요. 기존의 작업 방식으로는 촬영이 모두 끝난 후에도, 디자인이나 라이팅 등까지 고려해 고화질 장면을 한 프레임 렌더링하는 데 몇 시간에서 며칠까지 걸리기도 했습니다.

blogAssets%2F2017%2FMAY+2017%2FThe+Human+Race+Behind+The+Scenes%2FHumanRaceBehindTheScenes_Pic1-770x433-e32d9bc2d0949435bed2f5416a3968cf7dd81d8e

“블랙버드는 정말 믿을 수 없는 수준의 혁신이었습니다. 감독들은 블랙버드를 통해 엄청난 유연성을 얻을 수 있었지만, 어쨌든 세트장에서 실제 자동차를 보지 못한다는 사실은 매한가지였습니다. 그래서 에픽게임즈의 리얼타임 엔지니어들은 더 밀과 협력해 블랙버드를 더욱 향상시킬 수 있는 방법에 대해 생각해보기 시작했습니다.” 에픽게임즈의 CTO 킴 리브레리(Kim Libreri)의 말입니다. “에픽게임즈는 쌍방의 지식을 총동원해 증강현실 경험을 만들어, 감독과 촬영자가 세트 상에서 자동차를 실제로 볼 수 있도록 하는 것은 어떻겠냐고 제안했습니다.”

높은 충실도를 자랑하는 언리얼 엔진의 리얼 타임 렌더링 성능은, 실시간으로 진행되는 액션 장면 속에서도 제작자들이 CG 자동차를 즉시 시각화하고 조정할 수 있는 증강 현실의 제작 과정에서 분명 아주 중요한 역할을 하게 될 것이었습니다. 그리고 이 기술을 실전에서 시험해 보는 데에는 쉐보레(Chevrolet)의 카마로(Camaro) 50주년 기념 영상 제작이야말로 아주 완벽한 기회였습니다. 이 프로젝트는 “휴먼 레이스(The Human Race)”라는 단편 영상으로, 마침 더 밀은 최고 기밀 모델 쉐보레 카마로 ZL1과 아예 콘셉으로만 제작되어서 실제로는 단 한 대도 존재하지 않는 상태인 쉐보레 FNR 두 대의 기밀을 모두 유지해야 한다는 전통적인 문제에 치이고 있었습니다.

blogAssets%2F2017%2FMAY+2017%2FThe+Human+Race+Behind+The+Scenes%2FHumanRaceBehindTheScenes_Pic2-770x433-881bd9c9e22acf194fe7b899585d9edf60fd582a

“이번 프로젝트에서는 블랙버드를 활용해 카마로를 재현해야 할 것이란 점을 잘 알고 있었지만, FNR 모델과의 상호 작용이라는 새로운 영역도 염두에 두기로 헀습니다. 이 시점에서 에픽게임즈로부터 받은 제안은 굉장히 흥미로운 것이었는데, 실제로 게임 속 세상이란 CG 애셋들이 사용자에게 실시간으로 반응하며 직접 변화도 줄 수 있는 공간이니까요. 그래서 이런 기술을 기존의 라이브 액션 시각 특수효과 공간에 적용하는 일이란 굉장히 재미있는 것이었습니다. 저희는 언리얼 엔진으로 작업하면서 현존하는 기술을 활용해 두 차량이 세트 상에 존재하는 리얼타임 화면을 만들어낼 수 있었으며, 이를 통해 촬영이 진행되는 도중에도 영상의 수정이 가능해 모든 사람들이 최종 결과물의 모습과 느낌에 충분히 만족할 수 있을 정도였습니다.” 더 밀의 인터내셔널 EVP, 알리스터 톰슨(Alistair Thompson)은 말했습니다.

에픽게임즈의 엔지니어들은 미디어 프레임워크 기능을 통해 사용자가 MPEG나 QuickTime 유형의 영상을 언리얼 엔진 4 내로 가져올 수 있는 솔루션을 빌드하기 시작했습니다. 또한 여기서 한 발짝 더 나아가 산업 표준 비압축 EXR 이미지 파일을 지원하는 기능까지 구현했습니다. 이 새로운 기능은 최종 결과물인 고화질 영상의 리얼타임 렌더링을 가능하게 만들어, 증강 현실의 수준을 한층 더 끌어올렸습니다.

증강현실로 보여주게 될 디지털 차량의 데이터를 빈틈 없이 트래킹 및 관리하는 것 역시 또 다른 과제로 떠 올랐습니다. 이 문제는 더 밀의 특허 가상 제작 툴킷 사이클롭스(Cyclops)로 블랙버드에 장착된 4개의 RED 카메라와 어레이(ARRAIY)의 트래킹 소프트웨어, 그리고 언리얼 엔진을 한데 결합하여 해결할 수 있었습니다. 이렇게 리얼타임으로 포토리얼 라이팅과 리플렉션 컴포짓 등의 작업이 가능해졌습니다. 이는 이전까지만 하더라도 블랙버드로는 가능하지 않았던 작업으로, 곧 감독과 촬영자로 하여금 모니터만 보고도 카메라의 주시를 어느 쪽에 두어야 할지 조정할 수 있게 만들어 주는 것이었습니다.

blogAssets%2F2017%2FMAY+2017%2FThe+Human+Race+Behind+The+Scenes%2FHumanRaceBehindTheScenes_Pic3-770x433-269d230e8042fe7305c4936b881a95647c24e751

이 솔루션은 게임의 반응성을 바탕으로 영상 촬영과 사후 처리 과정을 따로 나누지 않고 작업을 진행하는 모습을 보여주며, 제작자가 영상 속에 실시간으로 진행되고 있는 액션 장면 속에 역시 실시간으로 포토리얼 애셋을 렌더링 후 구현할 수 있도록 해줍니다. 쉐보레의 경우 그 결과물로 두 대의 차량이 바람 부는 산 위의 도로에서 치열한 경주를 펼치는 미래적 영상을 만들어 낼 수 있었습니다.

“이것은 정말 가상 제작을 새로운 수준으로 끌어올리는 것입니다.” 리브레리는 말했습니다. “우리는 언리얼 엔진을 통해 전달받은 데이터로 사실감과 분위기, 퀄리티를 모두 살린 2017년형 카마로 ZL1과 쉐보레 FNR의 이미지를 즉석에서 만들어낸 다음, 상황에 따라 변경사항을 적용할 수 있었습니다. 라이팅과 리플렉션 모두 구성 과정에서 심혈을 기울여 만들어지며, 이 모든 과정은 실시간으로 이루어집니다. 단순한 증강현실의 그림자를 제작하는 것보다 월등히 복잡한 과정이며, 이를 통해 훨씬 정교하고 현실과 구분할 수 없을 수준의 CG 이미지 기반 라이팅이 만들어집니다.”

톰슨은 덧붙입니다: “언리얼 엔진을 통해, 리얼타임 렌더링은 카메라를 통해 받은 카메라 피드를 포함하여 CG 차량을 최고의 상태로 만들어냅니다. 이는 이미 배경 전체와 적절한 라이팅, 그리고 프레임을 적용했기 때문입니다. 감독은 실제 블랙버드 차량과 모니터 속에서 완전히 실감나게 구현된 쉐보레 ZL1 및 FNR 차량을 모두 볼 수 있습니다. 그러니 마치 실제 차량을 가지고 작업하는 것처럼 촬영을 진행할 수 있는 것입니다. 이제 감독, 촬영자와 배우들 모두 현재 화면이 CG를 적용한 화면에서는 어떻게 보일지 대강 어림잡고 추측하며 작업하는 방식을 완전히 배제할 수 있습니다.”

blogAssets%2F2017%2FMAY+2017%2FThe+Human+Race+Behind+The+Scenes%2FHumanRaceBehindTheScenes_Pic4-770x433-f187363454dd1537d28ff6b7f773927fc4a5a11a

이처럼 영상물 제작과 게임의 결합이 가진 잠재력이란 단순한 자동차 광고를 넘어, 그 어떤 분야에서도 활용할 수 있을 것입니다. 시청자들은 다양한 엔터테인먼트 장르에서의 창의적인 스토리텔링에서 보다 많은 통제를 쥘 수 있으며, 좋아하는 TV 프로그램이나 영화를 접할 수 있는 방법을 바꿀 수 있습니다. 소비자들은 새로운 차량이나 기타 다른 물품을 구매할 때나 뭘 보고 싶을지 즉석에서 결정할 때, 보다 유연한 융통성을 가질 수 있을 것입니다.

“휴먼 레이스’에는 영상을 통한 스토리 텔링과 리얼타임 시각 효과를 합쳐 영상 서사의 새로운 세대를 정의하였습니다." 더 밀의 앵거스 닐(Angus Kneale)은 말했습니다. “이것은 기존의 영상 시각 효과와 앞으로의 증강 현실 제작에 있어 매우 중요한 순간입니다. 더 밀의 사이클롭스를 언리얼 엔진의 첨단 게임 엔진 기술과 함꼐 활용함으로써, 영상 제작자들은 이제 자신들의 포토리얼 디지털 애셋을 현장에서 실시간으로 확인할 수 있게 되었습니다. 이는 곧 영상 제작자가 예전에는 상상도 할 수 없는 방식으로 영상 내의 이펙트를 바꿀 수 있어, 실시간으로 진행되는 액션 영상 내의 차량, 캐릭터, 배경 전체에 대한 상호작용적 통제권을 장악할 수 있다는 뜻이기도 합니다.”

이제 산업 종사자들은 언리얼 엔진 4를 통해 현재 상상할 수 있는 어떤 어플리케이션을 대상으로든 하이엔드 급의 증강현실 콘텐츠를 만들 수 있게 되었습니다. 리브레리는 다음과 같이 결론을 지었습니다: “이는 언리얼 엔진이 사용자에게 그 어떤 한계도 짓지 않는다는 것을 의미합니다. 유일한 한계란 여러분의 능력과 상상 뿐입니다.”

이런 새로운 환경 내에서 언리얼 엔진의 효율성을 극대화하기 위해, 다음과 같은 새 툴셋들이 개발되었습니다.: