언리얼 엔진 5를 활용해 포트나이트 사운드웨이브 시리즈의 음악 팬들에게 놀라움을 선사한 Aya Nakamura

2022년 10월 18일
20년 전 팝 스타들이 청중 기반을 다지는 데는 음반 판매, 라디오에서 음악 재생, 뮤직비디오, 라이브 공연 등 잘 확립된 채널이 다수 있었습니다. 오늘날의 아티스트에게는 팬들과 소통할 수 있는 새롭고 흥미진진한 방법이 있습니다. 바로 가상 세계입니다. 선도적인 팝 스타들은 디지털 세상으로 발걸음을 옮겨 기존의 팬을 즐겁게 하고 새로운 팬 기반에 다가가고 있습니다.

아야 나카무라(Aya Nakamura)는 혁신적인 아티스트입니다. 차트 상위권을 휩쓸고 있는 이 프랑스계 말리인 가수는 최근 전 세계의 다양한 아티스트가 등장하는 음악 경험 시리즈 포트나이트 사운드웨이브 시리즈에 출연했습니다.
 

최근 포트나이트는 완전히 포크리 툴세트만을 사용해 구축한 이벤트에 플레이어들을 초대했습니다. 이 이벤트에서는 최초로 포트나이트에서 공연하는 프랑스 아티스트를 볼 수 있는 획기적인 음악 경험이 펼쳐졌습니다.

아야와 그녀의 레코드 레이블 Rec. 118 및 워너 뮤직 프랑스(Warner Music France)는 XR 스튜디오 MADO XR과 협업하여 아야의 디지털 레플리카를 만들었습니다. 이 작업에 메타휴먼 크리에이터가 도움이 되었으며, 음악 경험에서 선보인 뮤직 비디오의 가상 환경을 제작하는 데는 언리얼 엔진 5가 사용되었습니다.

사실적인 아바타를 위한 메타휴먼

MADO XR의 창립자이자 CEO 겸 크리에이티브 디렉터 루이 드 카스트로(Louis de Castro)는 말합니다. “이 프로젝트에 대해 이야기를 듣자마자 대단히 획기적인 프로젝트라고 생각했습니다.”

드 카스트로에게 있어 아야 나카무라의 사운드웨이브 시리즈 공연은 디지털 월드가 음악 아티스트를 위한 캔버스가 되고 있다는 사실을 함축적으로 보여주는 사례입니다. 그는 설명합니다. “디지털 월드는 상상력을 극대화할 수 있는 광활한 놀이터입니다. 이는 공연을 다른 시각으로 바라볼 기회를 제공합니다. 메타버스의 모든 능력을 자랑하는 거대한 프로젝트에 참여한다는 것은 선구자가 되는 것과 같습니다. 이보다 더 흥미진진한 일이 있을까요?”

아야 나카무라의 가상 경험은 아야 자신에게는 물론 프랑스 음악계에서도 획기적인 사건입니다. 이벤트가 있기 전 아야는 말했습니다. “이 협업은 저의 기존 팬과 새로운 팬에게, 그리고 전 세계 모든 팬들에게 역대 가장 큰 규모로 공연을 보여드릴 수 있는 기회입니다. 제 음악을 여러분과 공유할 수 있는 이 기회를 고대하고 있으며 포트나이트와 협업한 첫 번째 프랑스 아티스트가 되어 기쁩니다!”

워너 뮤직 프랑스의 사장 알랭 베일(Alain Veille)은 포트나이트와 같은 가상 세계에서 개최되는 음악 경험을 통해 아티스트가 팬에게 익숙한 공간에서 팬을 만날 수 있는 특별한 기회를 얻게 된다고 설명합니다. “플레이어에게 사랑받는 포트나이트와 같은 게임에 아티스트를 불러들이면 공통의 관심사를 공유하는 팬과 더욱 직접적으로 소통할 수 있습니다. ‘가수가 포트나이트를 즐겨하는 줄 몰랐어요’라는 말은 팬들이 좋아하는 아티스트에 대해 이야기하는 흔한 반응 중 하나입니다.”

가상 경험은 팬과 소통하는 새롭고 흥미로운 방식을 제공할 뿐 아니라, 음악 아티스트가 한 번에 수백만 명의 사람에게 다가갈 수 있는 매우 실용적인 방법을 제안하기도 합니다. 베일은 말합니다. “여러 도시와 공연장을 도는 라이브 투어와 비교해 보면, 가상 경험은 아티스트의 일정을 조정하는 데 뛰어난 유연성을 자랑하곤 합니다.”
Image courtesy of Warner Music Group
프로젝트 진행 상황에 있어서 아야의 팀은 이런 유연성을 고려할 수 있었습니다. 이러한 점은 심지어 프로세스의 일환으로 메타휴먼 크리에이터를 사용하여 아티스트를 아바타로 재창조하는 접근 방식에 영감을 주었습니다. 베일이 설명합니다. “가상 경험의 프로덕션 작업은 라이브 콘서트나 투어에 요구되는 대면 요건보다 훨씬 더 유연했습니다.”

가상 세계는 음악계의 새로운 지평입니다. 레코드 레이블과 아티스트, 팬들은 디지털 공간이 아티스트와 팬의 관계에 어떤 역할을 하는지 알아가기 위한 여정을 함께 하고 있습니다.

워너 뮤직 그룹(Warner Music Group)의 최고 디지털 책임자 오아나 룩산드라(Oana Ruxandra)는 이 여정이 아티스트, 팀, 팬, 플랫폼이 모두 함께 배우고 성장하는 과정을 의미한다고 설명합니다. “아야와 진행한 이 프로젝트는 새로운 툴을 사용하여 아야의 비전을 더욱 종합적으로 구축해 낸 실험적인 작업입니다.”
“예를 들어, 이 프로젝트는 저희가 언리얼 엔진 5 환경에서 메타휴먼 툴을 사용한 첫 번째 프로젝트였습니다. 애니메이션의 퀄리티와 가상 공간에서 아야의 실제 움직임을 포착할 수 있는 능력은 정말 놀라웠습니다. 팀 전체가 이를 보며 굉장히 열광했고 영감을 받았습니다.”

가상 세계를 위한 언리얼 엔진 5

MADO XR은 음악 및 디지털 산업의 실력 있는 베테랑과 함께 협업하여 비주얼 콘셉트, 스크립트, 아티스트의 아바타를 개발했습니다.

팀은 두 명의 감독이 이끄는 더 퀴프스(The Quiffs)와 협력하여 뮤직비디오를 위한 스크립트를 다듬었습니다. 파리 소재의 3D 스캐닝 스튜디오 스캔 엔진(Scan Engine)은 크리에이티브 디지털 스튜디오 셰이프 시프터즈(Shape Shifter)가 아야의 아바타를 제작하는 데 사용할 디지털 데이터를 얻기 위해 아야를 스캔하는 작업을 맡았습니다. 가상 경험에서 화면에 송출될 뮤직비디오를 위한 가상 환경은 코멧 익스피어리언스(Komet Xperience)의 프랑스 아티스트 팀과의 협업으로 개발되었습니다.
Courtesy of Warner Music Group
이 프로세스의 첫 번째 단계는 스캔 작업이었습니다. 팀은 메타휴먼 크리에이터로 전송되는 고퀄리티 스캔을 만들기 위해 아야의 얼굴과 신체를 150회 이상 촬영했습니다. 이제 새로운 언리얼 엔진용 메타휴먼 플러그인의 메시 투 메타휴먼 기능을 통해 누구나 메타 휴먼 크리에이터를 이용할 수 있습니다. 드 카스트로는 말합니다. “프로세스에서 가장 어려운 부분은 아야의 아바타가 사람처럼 보이게 하는 디테일 작업이었습니다. 피부 톤과 얼굴의 그림자에 맞춰 입술색을 조정하여 이를 메타휴먼 크리에이터에서 복제할 수 있었습니다. 다음 단계는 아야의 감정이 표현될 수 있도록 페이셜 릭을 재구성하는 것이었습니다. 그 이후에는 모션 캡처를 통해 애니메이팅을 진행했습니다.”
 
Courtesy of MadoXR and Waner Music Group

앞서 설명한 페이셜 릭을 재구성하는 프로세스는 이제 자동화가 가능합니다. 드 카스트로는 디지털 휴먼 제작 측면에서 메타휴먼 크리에이터가 판도를 바꿔 놓았다고 이야기합니다. “메타휴먼의 가장 큰 장점은 능숙한 3D 아티스트든 초보자든 관계없이 모든 유형의 크리에이터를 아바타 생성 과정에 참여시킨다는 점입니다. 사용하기 쉽고 직관적이며 충분한 가이드가 제공되므로, 이전에 관련 기술을 습득한 적 없는 사람도 괜찮은 아바타를 만들 수 있습니다.”

드 카스트로는 얼리 어댑터로서 실제 사람을 모사하는 얼굴 표정을 이뤄내기 위해 페이셜 리깅, 애니메이션, 본 작업을 다시 수행해야 하는 기존의 파이프라인에서 디지털 휴먼 기술이 얼마나 많이 발전했는지 목격했습니다. 그는 말합니다. “이러한 의미에서 메타휴먼 크리에이터는 진정한 단독 툴입니다.”

아티스트의 반응은 팀의 성공을 판별할 수 있는 최고의 척도입니다. 아야는 말합니다. “처음으로 제 아바타를 봤을 때 대단히 놀랐습니다. 정말 실제 같았어요. 특히나 움직임과 제스처가 아주 사실적이었죠. 보자마자 저와 똑같이 생겼다는 걸 알았어요. 굉장히 인상적입니다!”
 
아야의 공연은 포트나이트 내에 구축된 가상 환경을 통해 화면으로 송출되었습니다. 플레이어는 아틀라스 크리에이티브 스튜디오(Atlas Creative Studios)가 개발한 이 가상 세계를 탐색하는 동시에 아야의 음악을 경험할 수 있었습니다.
아틀라스 팀은 플레이어가 돌아다니는 가상 세계에서의 뮤직 비디오에 등장하는 CG 비주얼의 모습과 감성을 재창조하고자 열심히 작업했습니다. 디지털 캐릭터 아야와 언리얼 엔진 5로 제작된 뮤직 비디오 환경은 일반적으로 포트나이트에서 볼 수 있는 그 이상으로 한층 포토리얼한 룩을 자랑했으며, 팀은 포크리 툴세트를 활용하여 이와 잘 어울리는 비주얼을 생성해야 했습니다.
Courtesy of MadoXR
아틀라스의 공동 창립자이자 CEO인 마이클 헤리거(Michael Herriger)는 말합니다. “저희 팀이 만들어야 했던 것 중 상당수는 전형적인 포트나이트 맵과 제법 다르게 생겼습니다. 뮤직비디오에 잘 어울리도록 여러 라이팅과 다양한 요소를 미세조정해야 했죠. 하지만 바로 이러한 점 때문에 더욱 멋지다고 생각합니다. ‘포트나이트에 있지만 동시에 포트나이트에 없는’ 흥미로운 경험을 할 수 있기 때문입니다.”
 

음악 경험의 미래

워너 뮤직은 미래에 초세형 헤드셋 디바이스를 통해 초현실적인 메타버스 경험을 즐길 수 있을 거라 예측한다고 룩산드라가 말합니다. “이러한 메타버스 경험은 지속적이고 동기화되며 라이브로 이루어질 것입니다. 디지털 세상과 현실 세계를 넘나들며 전례 없는 상호호환성을 제공하고, 다양한 기여쟈의 콘텐츠로 채워지며, 완전히 자체적으로 기능하는 경제 시스템을 갖추게 될 겁니다.”

룩산드라는 이어서, 이와 같은 메타버스 경험 내에서 음악은 상호작용, 소통, 소비의 지배적인 양식이 될 것이라고 설명합니다. “이 무궁무진한 가능성의 세계에서 아티스트는 몰입도 높고 실시간으로 이루어지며 원하는 대로 설정 가능한 방식으로 팬들과 소통할 수 있습니다. 저희는 미래 경험이 막 시작되고 있는 지금 이곳에서 선도적인 역할을 할 수 있다는 것이 대단히 기쁩니다. 이러한 경험을 발전시켜 아티스트가 가상 공간 안에서 전문가로 거듭나는 데 필요한 툴을 지원할 수 있다는 점에서요.”

드 카스트로에게도 포트나이트는 룩산드라가 설명한 바와 같이 가상 음악 경험의 자연스러운 종착지입니다. 그는 말합니다. “솔직하게 말해서, 포트나이트 팀보다 버추얼 쇼를 잘 운영하는 팀은 없습니다. 포트나이트 파티와 같은 파티는 존재하지 않습니다. 이를 통해 에픽게임즈는 최고의 게임 내 콘서트 제작에 있어 진취적으로 생각하는 호스트로 발돋움했습니다.”

“이 플랫폼은 게이머, 음악 아티스트를 비롯한 다양한 아티스트, 디자이너를 한데 모으고자 하는 사람에게 최고의 기능을 선보입니다. 메타버스가 큰 화두가 되고 있는 이때, 포트나이트는 디지털 리얼리티의 작동 방식을 가장 잘 표현하는 사례입니다.”

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요
    이벤트
    1월 17일

    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요

    스테이트 오브 언리얼에서 에픽과 에픽 파트너사의 최신 소식을 확인해 보세요. 또한 에픽의 테크 토크를 통해 자세한 내용을 알아보고 세션과 러닝 시어터에서는 영감을 얻고 정보를 받아보세요.
    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요
    이벤트

    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요

    스테이트 오브 언리얼에서 에픽과 에픽 파트너사의 최신 소식을 확인해 보세요. 또한 에픽의 테크 토크를 통해 자세한 내용을 알아보고 세션과 러닝 시어터에서는 영감을 얻고 정보를 받아보세요.
    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월
    뉴스
    2월 6일

    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월

    판타지 실내 환경, 스타일라이즈드 수정 광산, 90년대풍 레트로 TV 등, 언리얼 엔진 마켓플레이스의 2월 무료 3D 에셋을 공개합니다!
    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월
    뉴스

    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월

    판타지 실내 환경, 스타일라이즈드 수정 광산, 90년대풍 레트로 TV 등, 언리얼 엔진 마켓플레이스의 2월 무료 3D 에셋을 공개합니다!
    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요
    뉴스
    2월 5일

    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요

    레트로 카페, 전원풍 인테리어, 로우 폴리 마을, 커스터마이징 가능한 NPC 캐릭터 등, 2월 마켓플레이스 세일에는 누구나 사용할 수 있는 에셋이 준비되어 있습니다. 지금 바로 엄선된 이달의 콘텐츠를 50% 할인된 가격으로 만나보세요.
    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요
    뉴스

    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요

    레트로 카페, 전원풍 인테리어, 로우 폴리 마을, 커스터마이징 가능한 NPC 캐릭터 등, 2월 마켓플레이스 세일에는 누구나 사용할 수 있는 에셋이 준비되어 있습니다. 지금 바로 엄선된 이달의 콘텐츠를 50% 할인된 가격으로 만나보세요.