큰 사랑을 받는 버몬트의 잼 밴드 피시(Phish)는 매번 새로운 연주를 들려주는 것으로 유명합니다. 라이브 공연에서 밴드가 즉흥 연주를 하게 되면 기존 앨범의 수록곡들도 신선하고 새롭게 진화합니다.

이러한 피시가 라스베이거스 스피어(Sphere)에서 지금껏 한 번도 보지 못한 공연을 4일 동안 선보였습니다.

스피어는 75m 높이의 거대한 LED 스크린으로 관객을 감싸는 구조의 최첨단 공연장입니다. 이와 같은 장대한 음악 공연장에서 영감을 받은 밴드와 크리에이티브 스튜디오로 구성된 대담한 제작진들은 세계 최대 규모, 최고 수준의 높은 몰입도를 자랑하는 디지털 경험을 만들겠다는 미션을 시작했습니다.

모멘트 팩토리(Moment Factory)는 피시, 공동 크리에이티브 겸 쇼 디렉터인 아비게일 로젠 홈즈(Abigail Rosen Holmes), 라이팅 디자이너 크리스 쿠로다(Chris Kuroda)와 함께 공연을 공동 제작하여 스테이지 디자인과 콘텐츠 제작에 기여했습니다. 팀은 전 세계에서 가장 큰 화면을 사용하여 실시간으로 생성되는 비디오 콘텐츠를 만드는 혁신적인 방법을 구현했습니다.

그러나 이 도전은 대형 스크린에 멋진 비주얼을 보여주는 것을 한층 뛰어넘는 작업이었습니다.

화면의 규모도 거대하지만 제각기 다른 비주얼을 가진 4시간짜리 쇼가 4개나 되는 콘텐츠의 양 또한 방대했습니다.

모멘트 팩토리의 CG 슈퍼바이저인 제인 코자크(Zane Kozak)는 보통 이런 대형 프로젝트를 제작하려면 오랜 기간 준비가 필요하다는 점을 짚었습니다. “모든 것을 준비하고 계획하고, 400TB 규모의 콘텐츠를 전송하는 방법을 알아내는 데 최소 6개월에서 1년이 걸립니다. 그런데 이번에는 3개월밖에 없었습니다.”

16K 화면에 모든 것을 사전 렌더링한다는 것은 불가능했습니다. 데이터의 양이 워낙 방대한데다 엄청난 시간이 걸리는 프로세스이기 때문입니다. 갈라르노는 말합니다. “게다가 이런 작업 방식은 밴드의 연주를 따른다는 목적과도 어긋납니다. 언리얼 엔진은 이 거대한 공간에서 밴드와 함께 비주얼을 생성할 수 있도록 하는 핵심적인 툴이었습니다.”

무대에서 라이브로 진행되는 인터랙티브한 비주얼이라는 특성 때문에 리얼타임 엔진을 사용하는 건 당연한 수순이었지만, 갈라르노는 창의적인 아이디어를 탐색하고 공연장에서 선보일 화면을 프리비즈하는 과정에서도 리얼타임이 큰 도움이 되었다고 말했습니다.

모멘트 팩토리는 수년 전부터 VR 프리비즈에 언리얼 엔진을 사용해 왔습니다. 실제 공연장에 가보기 전에 우선 공연장의 디지털 사본을 만들어, 특정 위치에서 생길 만한 문제나 난관을 평가하고 해결하는 방식으로 활용한 것입니다.

이런 프로세스는 스피어 프로젝트에서도 매우 유용했습니다. 제작팀은 스피어의 거대한 화면에 콘텐츠를 투사할 때 스케일이나 애니메이션 타이밍 측면에서 발생할 수 있는 잠재적 문제를 신속하게 파악하고 필요한 조정을 할 수 있었습니다.

코자크는 설명합니다. “사전 렌더링된 콘텐츠의 경우에는 큰 변화를 주기는커녕, 애초에 변화를 주는 것 자체가 불가능합니다. 언리얼 엔진을 통해 자유롭게 수정하고 변경할 수 있었으며, 아트 디렉터의 지시에 따라 조정하고 더 많은 맥락을 이해하면서 작업할 수 있었습니다.”

처음에는 제작팀이 이 쇼에서 사용할 다양한 비주얼을 사전에 렌더링하려고 했으나, 이제까지 보았던 그 어떤 것과도 비교되지 않을 정도로 엄청나게 무겁다는 것을 금방 깨달았습니다. 갈라르노는 말합니다. “뭐든 다운로드하려면 몇 시간, 몇 주, 며칠씩 걸렸습니다.”

반면 언리얼 엔진으로 작업 시 팀이 빌드에서 변경 사항을 적용하면 스피어 화면에도 변경 사항이 바로 반영되는 걸 확인할 수 있었습니다.

갈라르노는 이야기합니다. “매우 간편한 방식으로 빠른 반복작업을 하고 다양하게 변형할 수 있다는 것을 확인할 수 있었습니다. 스피어의 아래부터 전체 화면까지 단 몇 분 만에 반영되었죠. 씬이 업데이트되는 것보다 위층으로 걸어 올라가는 게 더 오래 걸릴 정도였습니다.”

이처럼 변경 사항이 즉석에서 반영되는 기능 덕분에, 제작팀은 마지막 순간까지 창의적인 아이디어를 실험하면서 디테일 블러나 파티클 추가와 같은 마무리 작업을 진행할 수 있었습니다. 갈라르노는 이렇게 말합니다. “사전 렌더링이라는 기존 방식으로 했다면 이런 변경 작업은 하지 않았을 것입니다.”

뮈레제의 CEO이자 설립자인 비요른 뮈레제(Björn Myreze)의 설명에 따르면, 뮈레제의 내부 전문가들은 스스로를 '버추얼 엔지니어'로 부른다고 합니다. 이 회사의 상당 부분은 몰입형 기술의 모든 것을 다루는 데서 오는 흥미와 열정으로 운영되고 있습니다.

그렇기 때문에 뮈레제는 피시의 공연을 구성해주는 기술적인 퍼즐을 맞추는 데 있어 적임자였습니다.

뮈레제는 오퍼레이터가 밴드와 함께 합을 맞추어 즉흥적으로 구현할 수 있는 툴키트를 개발하기 시작했습니다. 하지만 이 툴키트를 다른 누군가가 사용하게 될 것이라는 점이 즉각 난관으로 다가왔습니다.

뮈레제의 언리얼 엔진 아티스트, 하바드 헤노이 비케슬란드(Håvard Hennøy Vikesland)가 말합니다. “일반적으로 저희가 그래픽을 만들면 최종 오퍼레이팅도 저희가 맡곤 합니다. 하지만 이번 프로젝트에서는 아니었죠. 내부의 기술 작동 원리에 대해 전혀 모르는 사람에게 모든 씬을 맡겨야 했습니다.”

때문에 뮈레제는 사용하기 쉽고 이해하기도 간단하며 어떤 조합이 주어지더라도 매끄럽게 어우러지는 비주얼을 구현할 수 있는 콘솔을 구축해야 했습니다.

이를 개발하기 위해 제작팀은 방대한 연구 개발 프로세스를 시작했습니다. 비요른 뮈레제는 말합니다. “이전에는 전혀 없던 방식으로 실시간으로 작동할 수 있는 시스템, 수학, 셰이더 시스템을 제작해야 했습니다.”

많은 실험을 거친 후, 제작팀은 씬의 속도, 색상, 블룸과 같은 미적 요소 등 비주얼의 다양한 측면을 변경하도록 조정할 수 있는 10가지 파라미터를 완성했습니다.

이 파라미터는 언리얼 엔진 DMX 플러그인에 연결된 라이팅 보드의 여러 슬라이더로 제어되어 화면의 라이팅과 이펙트를 연출합니다. 비케슬란드가 이야기합니다. “사실상 그래픽 오퍼레이터가 플레이할 게임을 만드는 셈이었습니다. 게임의 목표는 밴드와 함께 공연을 펼치는 것이고요.”

게임 제작 방식을 적용하게 되니, 프로젝트의 모든 씬을 일반적인 경우보다 훨씬 더 수학적이고 알고리즘적인 방식으로 구축해야 했습니다. 모든 비주얼이 밴드를 따라가야 하는데 밴드는 어디로든 이동할 수 있기 때문입니다.

비케슬란드는 설명합니다. “나무가 자라나게 하려면 밴드를 따라 성장하도록 해야 합니다. 사전에 구워진 성장 애니메이션을 단 하나만 갖고 있을 수는 없습니다. 밴드가 갑자기 예상치 못한 전개를 보여줄 수도 있기 때문입니다. 그런 경우에는 그래픽이 따라가지 못합니다. 밴드가 어디로 가든 따라갈 수 있는 유연한 시스템을 제작해야 했습니다.”

즉, 모든 것이 사전에 정의된 규칙에 따른 파라미터를 활용해 제작되어야 했습니다.

그래서 제작팀은 모든 것을 처음부터 새롭게 만들었습니다. 다른 3D 소프트웨어에서 애니메이션을 굽지 않고 수학과 셰이더 오프셋을 사용하여 애니메이션을 만들었습니다.

이처럼 참신한 접근법은 곧 흥미롭고 독특한 개발 방식으로 이어졌습니다. 공연에 등장한 비눗방울이 좋은 예시입니다. 비케슬란드는 말합니다. “그냥 비눗방울처럼 평면적이고 단순해 보이지만 그 바탕이 되는 작동 원리는 사실 저희가 지금까지 만든 가장 복잡한 셰이더 중 하나입니다.”

이 비눗방울은 3차원 구체처럼 보이지만 사실은 평면입니다.

이 평면과 복잡한 수학적 구성을 사용해, 제작팀은 실감 나는 빛의 물리적 특성을 보여주는 3차원 비눗방울과 어떻게 상호작용하는지를 흉내낼 수 있었습니다. 비케슬란드는 이야기합니다. “씬에서 보면 머티리얼 내 레이 트레이싱 같죠. 하지만 실은 2차원 평면에서 벌어지는 효과입니다. 덕분에 씬의 퍼포먼스가 엄청나게 향상되었습니다.”

나무의 개발도 비슷하게 이루어졌습니다.

비케슬란드가 말합니다. “나무 에셋을 가져와 씬을 채워 숲을 만들면 되는 것처럼 보입니다. 하지만 사전 제작된 나무 모델로는 절대 우리가 원하는 것을 할 수 없을 것입니다.”

그 대신, 제작팀은 Houdini를 사용해 나무를 생성하는 자체적인 툴을 개발했으며, 이 툴을 언리얼 엔진으로 내보낼 때 일반적으로 접하기 어려운 많은 유용한 속성 값들도 함께 가져올 수 있습니다.

비케슬란드가 이야기합니다. “UV 맵으로 나뭇가지의 길이와 두께를 묘사하고, 이 데이터를 사용해 흥미로운 방식으로 나무에 애니메이션을 적용할 수 있습니다. 나무가 자라나거나 줄어드는 건 당연히 가능하고요. 나뭇가지를 따라 불꽃이 터지는 등, 매우 환상적인 방식으로 나무를 따라 움직이는 패턴을 만들 수도 있습니다.”