Epic Records 이미지 제공

가상 콘서트 업계를 깜짝 놀라게 한 Sony Music의 '디지털 Madison Beer'

Craig Laliberte
팝 스타는 소셜 미디어, 음원, 무대 등에서 꾸준히 눈에 띄어야 대중의 시선을 끌 수 있습니다. 하지만 팬데믹 규제가 일상이 되면서 수많은 아티스트들이 전 세계 팬들과 소통할 새로운 방법을 찾아야 했습니다. 그중에는 입이 떡 벌어질 정도인 수준도 있었죠.

지난 12달 동안 유명인이 대거 출연하는 라이브스트림과 혁신적인 가상 공연이 등장한 와중에 에픽 레코드(Epic Records)의 아티스트인 매디슨 비어(Madison Beer)는 세상에서 가장 포토리얼한 디지털 뮤지션 아바타를 선보였습니다. 획기적이고 특수 효과가 가득한 가상 공연 매디슨 비어 몰입형 현실 콘서트 경험(The Madison Beer Immersive Reality Concert Experience)은 틱톡 라이브(TikTok LIVE)에 최초 공개된 후 현재 유튜브(YouTube), VR 플랫폼 등에서 널리 공개되었으며, 아티스트가 리얼타임 렌더링 및 버추얼 프로덕션으로 비전을 실현하면 얼마나 대단한 아이디어가 나올 수 있는지 잘 보여줍니다.
 

극도로 사실적인 매디슨의 디지털 아바타는 현실에서 절대 재현할 수 없으며, 한계를 뛰어넘는 이 콘서트의 중심입니다. 소니 뮤직 엔터테인먼트(Sony Music Entertainment)와 버라이즌(Verizon)은 매디슨과 협력해 뉴욕 소니 홀(Sony Hall)을 실제 비율로 구현하고, 인기 아티스트에 걸맞은 화려한 무대로 인기곡 메들리를 선보였습니다. 단, 이 경험을 이끄는 음악과 퍼포먼스를 제외하면 완전히 가상이죠.
Epic Records 이미지 제공
새롭고 혁신적인 방식으로 관객과 소통하고 창의적 도전을 추구하는 아티스트에게는 좋은 일입니다. 대부분 콘서트는 현실의 제약을 받지만, 가상 콘서트는 아티스트가 원하는 대로 구현할 수 있어서 팬에게 선보일 경험을 마음대로 만들고 현실에서 가능한 것보다 훨씬 환상적인 콘셉트를 구현할 수 있습니다. 매디슨 비어 몰입형 현실 콘서트 경험은 이 아이디어를 활용해 하나의 콘텐츠를 유튜브부터 VR까지 다양한 플랫폼에서 팬들이 즐길 수 있는 트랜스미디어 캠페인으로 바꿔놨습니다.

현실성 유지하기

소니 이머시브 뮤직 스튜디오(Sony Immersive Music Studios), 매그노푸스, 게이지 시어리 크리에이티브(Gauge Theory Creative), 하이퍼리얼(Hyperreal)이 주도하는 제작 팀은 3D 기술 덕분에 가능성은 무한하지만, 어느 정도의 현실성은 유지해야 한다고 판단했습니다.

소니 이머시브 뮤직 스튜디오의 대표 브래드 스파르(Brad Spahr)가 말합니다. “처음 시작했을 때는 실제 무대와 아티스트를 사실적으로 재현한 가상 콘서트를 연출하면서도 콘서트 경험 자체를 재해석할 정도의 환상적인 경험을 더하는 게 목표였습니다.”

매그노푸스의 공동 창립자 알렉스 헤닝(Alex Henning)이 말합니다. “현실에서도 충분히 있을 법한 것부터 시작해야 팬들이 몰입하고 경험을 받아들이게 됩니다. 이렇게 현실적인 요소로 팬들의 이목을 끌고 나면, 환상적인 요소를 쌓아 올리기 시작합니다. 현실적인 부분이 탄탄할수록, 환상적인 부분에서 더욱 감탄하게 되죠.”

현실적인 요소란 매그노푸스에게 공연장과 VFX 패키지를, 하이퍼리얼에게는 매디슨 비어를 의미합니다.
Hyperreal과 Epic Records 이미지 제공
하이퍼리얼은 로스앤젤레스의 고해상도 카메라 시스템 두 개로 매디슨의 얼굴과 몸을 캡처하는 것부터 시작했습니다. 첫 번째 시스템은 매디슨의 얼굴, 목, 어깨의 볼륨을 생성해 모공까지 포토메트릭 데이터로 기록했습니다. 하이퍼리얼은 매디슨의 동작을 모든 각도에서 캡처했고, 이렇게 모은 데이터로 위화감 없이 극도로 사실적인 아바타인 '하이퍼모델(HyperModel)'을 만드는 데 성공했습니다.

200대의 카메라를 통해 매디슨의 몸, 근육, 모양을 다양한 생체역학적 위치에서 기록함으로써, 하이퍼리얼의 리얼타임 하이퍼릭(HyperRig) 시스템에서 변형의 정확도를 확보할 수 있었습니다. 하이퍼리얼은 여기에 의상, 헤어스타일, 귀걸이 등 매디슨이 고른 공연 스타일을 추가하고 아바타를 언리얼 엔진에 가져와서 움직임을 실험한 뒤, LA의 플레이스테이션 스튜디오(PlayStation Studios)에서 라이브 캡처 세션을 진행했습니다.
Hyperreal과 Epic Records 이미지 제공
그동안 매그노푸스는 공연장과 VFX 시스템을 열심히 준비하고 있었습니다. 하이퍼모델과 마찬가지로, 이벤트를 최대한 사실적으로 보이게 해서 매디슨 위로 소용돌이치는 별이 나타났을 때 마법처럼 놀라운 광경을 연출하는 게 목표였습니다.
Epic Records 이미지 제공
소니 이머시브 뮤직 스튜디오는 전체 라이다(LiDAR) 스캔을 고려한 뒤, 라이팅을 더 섬세하게 제어하기 위해 공연장을 처음부터 새로 만들기로 했습니다. 원본 CAD 파일부터 시작해 오토데스크 마야(Autodesk Maya)로 임포트해서 소니 홀만의 독특한 분위기를 살리는 등 예술적인 부분에 집중했습니다. 매그노푸스는 이렇게 만든 기반 위에 라이팅과 VFX를 추가해 콘서트 경험을 재해석한다는 최종 목표를 달성할 수 있었습니다.

스파르가 말합니다. “소니 홀은 많은 특징과 디테일, 아름다움이 있는 친숙한 장소라서 이번 이벤트에 이상적인 환경이었습니다.”

헤닝이 말합니다. “규모도 VR에 적절합니다. 넓고 휑한 경기장도 아니고, 답답한 클럽도 아니죠. 거의 완벽한 크기입니다.”
Epic Records 이미지 제공
창작 과정 전반에 걸쳐 언리얼 엔진을 사용할 것이므로, 매그노푸스는 내장된 버추얼 스카우팅 툴로 카메라를 구성하여 특수 효과로 넘어가기 전에 라이팅을 테스트할 수 있었습니다. 하지만 퍼포먼스를 확보해야 했습니다.

음악 버추얼 프로덕션의 장점

모션 캡처 촬영을 할 때는 보통 모든 관계자가 함께 모여 진행하지만, 매디슨 비어 몰입형 콘서트 경험은 미국 전역에 흩어진 팀이 원격으로 주도한 작업이었습니다. LA에서는 매디슨 비어가 모션 캡처 슈트를 입고 머리에 카메라를 달았습니다. 필라델피아에서는 하이퍼리얼 CEO 레밍턴 스콧(Remington Scott)이 모션 캡처 과정을 실시간으로 감독했는데, VR 헤드셋을 사용한 덕분에 사회적 거리 두기라는 코로나19 규제를 준수하며 가상 소니 홀에서 매디슨의 아바타와 대면할 수 있었습니다.

언리얼 엔진은 실시간으로 작동하므로, 버추얼 프로덕션에 원격 협업 툴을 활용하여 전 세계 어디서든 완벽히 동기화된 3D 환경을 스트리밍할 수 있습니다. 덕분에 최대한 현실적인 퍼포먼스를 원했던 팀은 매디슨의 퍼포먼스를 컷이나 편집 없이 원 테이크로 녹화할 수 있었습니다.

모션 캡처 촬영이 끝나고 제작한 경험을 다듬은 뒤, 카메라맨 톰 글린(Tom Glynn)은 9분 30초 길이의 최종 퍼포먼스 영상을 촬영했습니다.

게이지 시어리 크리에이티브의 매니징 디렉터 톰 글린이 말합니다. “이걸 다 게임 엔진으로 만들었다는 걸 믿기 힘들 때도 있었습니다. 제가 카메라를 움직이는 동안 3D 월드에서는 퍼포먼스가 벌어졌습니다. 촬영하는 동안 뷰파인더로 보이는 광경을 믿기 힘들었죠. 매디슨 비어의 아바타를 보고 있으니 정말 매디슨과 같은 공간에 서 있는 느낌이었습니다. 엄청난 충격이었어요.”
Epic Records 이미지 제공
팀은 원하는 장면을 얻기 위해 이틀 동안 수백 번을 촬영했습니다.

스파르가 말합니다. “우리가 플레이 버튼을 누르면 매디슨이 공연을 시작하고 톰은 실시간으로 촬영하면서 앞에 있는 모니터로 촬영 장면을 바로 확인했죠. 도중에 멈추고, 조정하고, 플레이를 누르면 콘서트가 다시 시작돼서 또 촬영할 수 있었습니다. 실시간 피드백의 힘은 대단했습니다. 이번 작업에서 어려운 점이 하나 있었다면, 좋은 장면이 너무 많아서 정하기 힘들 정도였다는 겁니다! 행복한 고민이었죠."

글린은 카메라맨 입장에서 버추얼 프로덕션 경험, 특히 '콘서트' 촬영이 이렇게 쉽다는 점에 놀랐습니다. 기존 라이브 공연에서는 5~12명의 카메라맨이 공연장 내 주요 위치에서 다양한 삼각대, 달리, 스테디캠 등으로 촬영을 했습니다. 미리 준비해서 한 번에 촬영하고, 촬영본을 그대로 써야 했죠. 이번 작업에서 글린은 핸드헬드 릭을 비롯해 평소에 쓰던 장비를 그대로 사용했지만, 가상 세계인 덕분에 빠르게 촬영할 수 있었습니다.
Hyperreal과 Epic Records 이미지 제공
글린은 언리얼 엔진 덕분에 간단한 명령 몇 개만으로 현실의 물리적 제약을 넘을 수도 있었습니다. 예를 들어 매디슨의 눈높이보다 살짝 높거나 낮은 장면을 찍고 싶다면 가상 환경에서 글린을 1.2배나 1.5배로 늘려서 '키가 커지게' 할 수 있었습니다. 매디슨이 빠르게 움직일 때 화면이 흔들리지 않게 따라가고 싶다면 이동 스케일을 1.5~2배로 설정하여 한 걸음이 일곱 걸음과 맞먹도록 했습니다. 문제가 간단히 해결됐죠.

환상적인 장면을 만들 차례

영상을 '취합하고 나면', 매그노푸스가 현실에선 불가능한 시선을 사로잡는 효과로 멋을 더할 차례였습니다.

스파르가 말합니다. “매디슨 주위로 불의 고리가 나타나는 시퀀스가 있습니다. 매디슨을 중심으로 빗방울이 떨어지는 감동적인 경험도 있죠. 평범한 콘서트장에서는 안전 문제 때문에 허용되지 않을 겁니다. 팬들이 콘서트를 새로운 방식으로 볼 수 있게 해준 다음, 별이 가득한 우주로 수준을 끌어올린 거죠.”
Epic Records 이미지 제공
매그노푸스(Magnopus)는 모든 특수 효과와 라이팅 효과를 언리얼 엔진으로 만들었는데, 리얼타임 레이 트레이싱과 내장 멀티 트랙 에디터 시퀀서의 타임라인 툴로 곡의 여러 부분을 오가면서 편집했습니다. 그리고 매그노푸스는 픽셀 스트리밍을 통해 아티스트의 발목을 잡았던 하드웨어 제약을 극복할 수 있었습니다. 픽셀 스트리밍을 사용하면 클라우드 서버에서 언리얼 엔진 애플리케이션을 구동하고, 유튜브 영상처럼 어떤 디바이스의 브라우저에서도 스트리밍할 수 있습니다.

헤닝이 말합니다. “리얼타임 환경에서는 항상 렌더링 예산이 정해지게 되는데 이걸 넘으면 안 됩니다. 항상 타깃 디바이스의 성능으로 제한되고, 원하는 프레임 레이트를 얻으려면 렌더링하는 양과 퀄리티 사이에서 저울질해야 하죠. 그런 제약을 완전히 탈피해서 하나만 고르는 게 아닌 모두를 고를 수 있습니다. 포토리얼한 인물 렌더링뿐만 아니라 불, 비, 연기, 애트머스페릭을 전부 동시에 쓸 수 있다는 뜻이죠. 아티스트에게는 매력적입니다.“
Epic Records 이미지 제공

하나의 콘텐츠를 모든 플랫폼으로

매디슨 비어 몰입형 콘서트 경험은 틱톡 라이브에서 최초 공개되었으나, 목표는 그 이상이었습니다. 프로젝트를 게임 엔진으로 제작한 덕분에 손쉽게 다른 채널로 변환할 수 있어서, 프로덕션 팀이 영상, VR, 모바일 애플리케이션용으로 다시 제작할 필요가 없습니다.

헤닝이 말합니다. “처음부터 리얼타임 환경에서 작업한다면 모든 작업에서 이게 핵심이 될 겁니다. 매번 새 파이를 굽는 게 아니라 같은 파이를 조각내는 식이라면, 모든 요소를 더 흥미로운 방식으로 통합하고 수고를 덜 들이면서 더 많은 결과를 내놓을 수 있는 거죠. 한 가지 구성으로 VR 콘텐츠, 모바일 증강현실/인터랙티브 버전, 픽셀 스트림 버전, 유튜브나 틱톡용 2D 동영상 클립을 제작할 수 있다면, 거기서 절약되는 노력과 창의력을 월드에 쏟을 수 있습니다.”
Epic Records 이미지 제공
이렇게 놀라운 경험이 세상에 등장했는데, 아직 의문은 남아있습니다. 향후 몇 년간 가상 콘서트가 얼마나 발전할 수 있을까요? 스파르는 새로운 쇼를 진행할 기회와 디지털 아바타로 음악을 재해석할 여러 가지 방법이 생기면서 가상 콘서트가 크게 발전할 것이라고 합니다.

스파르가 말합니다. “아무리 허황된 상상이라고 해도, 아티스트가 원한다면 뭐든 구현할 수 있습니다. 제약이 없으니까요. 가상 공간에는 물리 법칙이 없습니다. 방화 규정이나 안전 수칙을 따를 필요도 없죠. 아티스트에게 '팬에게 선보이고 싶은 판타지 경험을 상상해 보세요. 무엇이든 가능하다면 무엇을 하고 싶으세요?'라고 물을 수 있고 그것을 현실로 만들 수 있는 툴과 기술이 있으니 아티스트와 음악 업계 입장에선 굉장히 신나는 일입니다."
Epic Records 이미지 제공

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.