블래스트 이미지 제공
언리얼 엔진 통합 파이프라인으로 전례 없는 경험을 제공하는 버추얼 아이돌 PLAVE
2024년 12월 9일
블래스트(VLAST)는 "Play Beyond Play"라는 비전 아래 엔터테인먼트 산업을 혁신하고 있으며, 첨단 버추얼 기술과 전통적 콘텐츠의 융합을 통해 실시간 소통이 가능한 버추얼 IP를 창조합니다.
리얼타임 3D 콘텐츠 제작 기술이 날로 진화함에 따라 버추얼 아티스트, 유튜버 등 디지털 휴먼 시장도 함께 성장하고 있는 가운데, 대한민국에는 데뷔 1년여 만에 실제 아이돌 못지 않은 인기를 누리고 있는 버추얼 아이돌이 있습니다. 바로 플레이브(PLAVE)입니다.
플레이브(PLAVE)는 예준·노아·밤비·은호·하민 5인의 멤버들이 작사, 작곡, 그리고 안무까지 직접 제작하는 버추얼 보이 그룹으로서, 2023년 3월 12일 데뷔 이후 버추얼 아이돌 최초로 대한민국 대표 음악방송에서 1위를 차지하고, 최근에는 잠실실내체육관에서 양일간 오프라인 단독 라이브 콘서트를 개최하여 전석이 매진되며 엄청난 인기를 누리고 있습니다.
플레이브의 인기 비결에는 여러 요소가 있겠지만, 언리얼 엔진의 리얼타임 기술로 자연스러운 비주얼 퀄리티뿐만 아니라, 매주 라이브 방송을 통해 팬들과 소통하며 아티스트의 진면목을 전할 수 있던 점을 꼽을 수 있습니다. 시네마틱 영상, 라이브 방송, 그리고 오프라인 라이브 콘서트까지 어떻게 언리얼 엔진으로 통합 제작 파이프라인을 구축해 아티스트의 본질을 전달할 수 있었는지 알아봅니다.
시네마틱 콘텐츠를 위한 리얼타임 통합 파이프라인
(좌) DCC 툴을 병합한 기존의 시네마틱 콘텐츠 제작 파이프라인 / (우) 언리얼 엔진과 통합한 시네마틱 콘텐츠 제작 파이프라인
플레이브의 소속사 블래스트는 설립 초창기부터 여러 작품을 통해서 언리얼 엔진의 가능성을 확인했기 때문에, 버추얼 IP 파이프라인이라는 회사의 비전을 바탕으로 시네마틱과 라이브 콘텐츠를 모두 제작할 수 있는 언리얼 엔진 통합 파이프라인을 구축하고자 했습니다.
플레이브의 첫 뮤직비디오인 ‘기다릴게'를 제작하던 때만 해도, 언리얼 엔진 제작 경험이 제한적이었기 때문에 레벨 디자인, 라이팅, 렌더링은 언리얼 엔진으로, 이펙트 및 의상 시뮬레이션, 합성 등은 기존의 DCC 툴을 사용하는 방식이었습니다. 그렇지만, 이러한 제작 방식은 언리얼 엔진의 장점을 극대화하지 못하고, 전체적인 콘텐츠 제작 속도를 저하시켰습니다. 또한, 본래 언리얼 엔진 중심의 통합 파이프라인을 구축하려고 했던 블래스트의 비전과 맞지 않는다는 판단 하에 파이프라인을 언리얼 엔진으로 완전히 대체하기로 했습니다.
플레이브의 첫 뮤직비디오인 ‘기다릴게'를 제작하던 때만 해도, 언리얼 엔진 제작 경험이 제한적이었기 때문에 레벨 디자인, 라이팅, 렌더링은 언리얼 엔진으로, 이펙트 및 의상 시뮬레이션, 합성 등은 기존의 DCC 툴을 사용하는 방식이었습니다. 그렇지만, 이러한 제작 방식은 언리얼 엔진의 장점을 극대화하지 못하고, 전체적인 콘텐츠 제작 속도를 저하시켰습니다. 또한, 본래 언리얼 엔진 중심의 통합 파이프라인을 구축하려고 했던 블래스트의 비전과 맞지 않는다는 판단 하에 파이프라인을 언리얼 엔진으로 완전히 대체하기로 했습니다.
의상 및 헤어 시뮬레이션을 언리얼 엔진의 실시간 시뮬레이션으로 완전히 전환하면서, 이제는 애니메이션이 수정될 때마다 라이브 방송처럼 시뮬레이션되어 임포트 과정이 간소화되었습니다. 렌더링을 위해 라이브 시뮬레이션을 베이크해야 하는 경우에도, 언리얼 엔진의 테이크 레코더를 사용하면 바로 결과를 확인할 수 있어 전체적인 작업 과정이 매우 효율적으로 향상되었습니다.
또한 이펙트 제작에는 언리얼 엔진의 나이아가라 시스템을 전면 도입하여 룩뎁 아티스트들은 모든 최종 연출 요소를 실시간으로 확인하며 함께 작업할 수 있게 되었습니다. 애니메이션, 시뮬레이션, 이펙트 등의 모든 최종 연출 요소가 엔진으로 통합되면서, 언리얼 엔진을 컴포지터로까지 활용할 수 있었습니다.
그 결과, ‘WAY 4 LUV’의 시네마틱 영상부터는 모델링, 애니메이션, 룩뎁 등 각 제작 요소가 통합된 최종 결과물을 언리얼 엔진에서 렌더링할 수 있게 되어 작업의 효율성과 퀄리티를 향상시킬 수 있었습니다.
고도화된 리얼타임 모션 캡처로 아티스트의 진심을 전한 라이브 방송
(좌) 첫 라이브 방송 / (우) 최근 라이브 방송
라이브 방송은 플레이브의 강력한 팬덤을 구축하는 데 있어 매우 중요한 역할을 하고 있는 만큼, 블래스트는 아티스트의 매력과 진심을 잘 전할 수 있도록 많은 노력을 기울여 왔습니다.
특히 아티스트의 모든 모션이 자연스럽게 보이도록 하기 위해 언리얼 엔진의 라이브 링크로 스트리밍한 모션 캡처 원시 데이터를 실시간으로 가공할 수 있는 다양한 솔루션들을 개발하는데 많은 정성을 들였습니다.
특히 아티스트의 모든 모션이 자연스럽게 보이도록 하기 위해 언리얼 엔진의 라이브 링크로 스트리밍한 모션 캡처 원시 데이터를 실시간으로 가공할 수 있는 다양한 솔루션들을 개발하는데 많은 정성을 들였습니다.
실시간 간섭 회피 솔루션 전후 비교
다양한 체형들 간에 애니메이션을 이질감 없이 자연스럽게 전환할 수 있는 리타기팅 솔루션, 매 촬영 때마다 발생하는 마커의 위치 오차를 모션으로 측정하여 보정하는 캘리브레이션 솔루션, 신체 비율 또는 외형 차이에 따른 메시 간섭 문제를 실시간으로 해결하는 간섭 회피 솔루션, 정확한 포즈와 자연스러운 주변 환경과의 인터랙션 사이를 상황에 따라 적절하게 전환할 수 있는 Dynamic FK/IK 솔루션, 골반 너비와 신발 밑창 및 볼 너비까지 보정해 지면과 발의 접지를 정교하게 표현하는 Foot IK 솔루션 등 기존에는 실시간으로 처리하기 어려워서 라이브 콘텐츠에서 적용할 수 없었던 모션 캡처 데이터의 실시간 가공 기술을 자체적으로 개발하여 언리얼 엔진에 통합했습니다. 이러한 기술 투자 덕분에 버추얼 아이돌임에도 아티스트의 진심을 잘 전할 수 있는 기술적 기반을 갖추게 되었습니다. (해당 라이브 장면의 풀버전 보기)
리얼타임 통합 파이프라인의 화룡점정, 오프라인 라이브 콘서트
VLAST 이미지 제공
시네마틱과 라이브 콘텐츠 제작 파이프라인이 통합된 전체 파이프라인
콘서트는 연출뿐만 아니라 제작 파이프라인에서도 시네마틱과 라이브 콘텐츠의 특성을 모두 가지고 있는 특별한 무대입니다. 수많은 무대의 동선을 사전에 미리 짜맞추며 연출을 확정해 놓으면서도 리허설 때마다 라이브로 전환해야 하므로, 콘서트 작업에는 녹화와 라이브를 수시로 전환할 수 있는 파이프라인이 필수적입니다.
이를 위해서 메타휴먼의 캐릭터 설계에 힌트를 얻어 시네마틱 퀄리티와 라이브 퍼포먼스를 모두 만족하는 유연하고 모듈화된 통합 캐릭터 시스템을 개발했습니다. 이 시스템은 콘서트에 필요한 모든 상황을 지원하기 위해 스켈레탈 메시를 분리해서 적절한 계층구조로 설계하고, 각각의 스켈레탈 메시 컴포넌트들은 시퀀서의 애니메이션 트랙을 재생하는 모드와 라이브 링크 모션 캡처 및 실시간 시뮬레이션을 적용하는 모드 사이를 자유롭게 전환할 수 있도록 구현했습니다.
또한 라이브 캐릭터 전용 기능들은 모두 별도의 컴포넌트로 모듈화시켜, 필요한 기능들만 라이브 방송 시나리오에 맞춰 적용할 수 있도록 설계했습니다. 추가로 룩뎁 아티스트들이 일관적인 퀄리티로 작업할 수 있도록 캐릭터 클래스의 모든 기능들이 프리뷰 모드와 플레이 모드에서 동일하게 동작하도록 개발하였습니다. 이런 통합 캐릭터 클래스 설계 덕분에 언제든지 시네마틱과 라이브를 간단하게 전환하면서 작업 효율도 높일 수 있게 되었습니다.
이를 위해서 메타휴먼의 캐릭터 설계에 힌트를 얻어 시네마틱 퀄리티와 라이브 퍼포먼스를 모두 만족하는 유연하고 모듈화된 통합 캐릭터 시스템을 개발했습니다. 이 시스템은 콘서트에 필요한 모든 상황을 지원하기 위해 스켈레탈 메시를 분리해서 적절한 계층구조로 설계하고, 각각의 스켈레탈 메시 컴포넌트들은 시퀀서의 애니메이션 트랙을 재생하는 모드와 라이브 링크 모션 캡처 및 실시간 시뮬레이션을 적용하는 모드 사이를 자유롭게 전환할 수 있도록 구현했습니다.
또한 라이브 캐릭터 전용 기능들은 모두 별도의 컴포넌트로 모듈화시켜, 필요한 기능들만 라이브 방송 시나리오에 맞춰 적용할 수 있도록 설계했습니다. 추가로 룩뎁 아티스트들이 일관적인 퀄리티로 작업할 수 있도록 캐릭터 클래스의 모든 기능들이 프리뷰 모드와 플레이 모드에서 동일하게 동작하도록 개발하였습니다. 이런 통합 캐릭터 클래스 설계 덕분에 언제든지 시네마틱과 라이브를 간단하게 전환하면서 작업 효율도 높일 수 있게 되었습니다.
VLAST 이미지 제공
(좌)스켈레탈 메시의 계층 구조 및 모듈화된 컴포넌트 / (우) 컴포넌트 단위로 두 가지 모드를 자유롭게 전환 가능
통합 캐릭터 클래스와 더불어 좀 더 파이프라인을 단순화하기 위해 언리얼 엔진의 테이크 레코더 기능을 활용한 새로운 모션 캡처 녹화 파이프라인을 구축했습니다. 그 덕분에 이제는 모션 캡처부터 시네마틱까지 모든 과정을 언리얼 엔진 내에서 진행할 수 있게 되었습니다. 이로써 시네마틱용 애니메이션을 제작하기 위해 여러 소프트웨어를 오갈 필요없이 언리얼 엔진 하나로 모든 작업이 가능해졌습니다.
또한, 이 새로운 파이프라인을 사용해 자체적으로 개발한 신체 간섭 회피, 캘리브레이션, 리타기팅 기능을 언리얼 엔진 안에서 바로 녹화할 수 있어 평소 라이브 방송과 동일한 수준의 모션 캡처 퀄리티를 얻을 수 있게 되었습니다. 이렇게 테이크 레코더의 기능을 통해 녹화 직후 바로 결과를 확인할 수 있어 작업의 효율이 크게 향상되었고 특히 현장에서 실시간으로 피드백을 주고 받을 수 있게 되면서 기획과 디렉팅 측면에서도 큰 발전을 이룰 수 있었습니다.
또한, 이 새로운 파이프라인을 사용해 자체적으로 개발한 신체 간섭 회피, 캘리브레이션, 리타기팅 기능을 언리얼 엔진 안에서 바로 녹화할 수 있어 평소 라이브 방송과 동일한 수준의 모션 캡처 퀄리티를 얻을 수 있게 되었습니다. 이렇게 테이크 레코더의 기능을 통해 녹화 직후 바로 결과를 확인할 수 있어 작업의 효율이 크게 향상되었고 특히 현장에서 실시간으로 피드백을 주고 받을 수 있게 되면서 기획과 디렉팅 측면에서도 큰 발전을 이룰 수 있었습니다.
(좌) 기존의 모션 캡처 녹화 파이프라인 / (우) 언리얼 엔진으로 통합 후 테이크 레코더를 활용한 모션 캡처 녹화 파이프라인
시네마틱과 라이브 파이프라인의 통합이 더욱 높은 효과를 내기 위해서는 앞서 언급된 기능들의 개발과 함께 현장 오퍼레이팅에 대한 지원도 필요했습니다. 버추얼 파이프라인에서는 여러 소프트웨어를 함께 사용해야 했기 때문에 언리얼 엔진 설정, 녹화 설정, 심지어 단순한 녹음 작업까지 모두 오퍼레이터와 소통해야 했습니다. 따라서 작업 과정을 단순화하고 자동화하기 위해 언리얼 엔진 기반의 '버추얼 슬레이트'라는 태블릿 애플리케이션을 개발했습니다.
이 애플리케이션은 스튜디오 내 여러 장치와 소프트웨어를 연결하여 원격으로 동시 제어할 수 있고, 녹화 버튼 하나로 언리얼 엔진의 녹화 기능, 모션 캡처 소프트웨어, 여러 채널의 비디오 및 오디오를 동시에 녹화할 수 있습니다. 그리고 녹화가 끝나면 자동으로 모든 파일의 이름과 저장 위치를 정리하고, 미리보기 장면을 만들어 줍니다. 이제는 오퍼레이터가 초기 설정만 도와주면, 콘텐츠 제작자들은 직접 모션 캡처 녹화를 할 수 있어 제작자와 아티스트는 서로 의견을 주고받으며 촬영을 진행할 수 있게 되었습니다.
이 애플리케이션은 스튜디오 내 여러 장치와 소프트웨어를 연결하여 원격으로 동시 제어할 수 있고, 녹화 버튼 하나로 언리얼 엔진의 녹화 기능, 모션 캡처 소프트웨어, 여러 채널의 비디오 및 오디오를 동시에 녹화할 수 있습니다. 그리고 녹화가 끝나면 자동으로 모든 파일의 이름과 저장 위치를 정리하고, 미리보기 장면을 만들어 줍니다. 이제는 오퍼레이터가 초기 설정만 도와주면, 콘텐츠 제작자들은 직접 모션 캡처 녹화를 할 수 있어 제작자와 아티스트는 서로 의견을 주고받으며 촬영을 진행할 수 있게 되었습니다.
(좌) 기존의 오퍼레이팅 소통 방식 / (우) 향상된 오퍼레이팅 소통 방식
한편, 시네마틱과 라이브를 결합한 오프라인 라이브 콘서트는 관객들에게 높은 몰입감을 전달하는 것이 매우 중요합니다. 따라서 현실의 무대에 실존하는 아티스트를 보는 것과 같은 스케일과 원근감을 현실감 있게 잘 반영하는 것도 중요한 과제였습니다.
이 과제를 풀기 위해 LED 스크린에 투사된 결과를 미리 예측할 수 있어야 했고, 이를 위해 언리얼 엔진 내에 실제 공연장과 동일한 크기의 디지털 트윈 레벨을 제작하고, 가상 공연장의 LED 스크린에 최종 이미지를 투사하였습니다. 그런 뒤에 관객의 시점에서 VR로 이를 감상하는 방식으로 관객의 시점을 미리 시뮬레이션하며 스케일과 원근감을 조정해 나갔습니다. 이러한 방법으로 플레이브의 콘서트는 대형 콘서트장의 어떤 좌석에서도 눈앞의 무대에 멤버들이 실존한다는 현실감을 관객들에게 전달할 수 있었습니다.
이 과제를 풀기 위해 LED 스크린에 투사된 결과를 미리 예측할 수 있어야 했고, 이를 위해 언리얼 엔진 내에 실제 공연장과 동일한 크기의 디지털 트윈 레벨을 제작하고, 가상 공연장의 LED 스크린에 최종 이미지를 투사하였습니다. 그런 뒤에 관객의 시점에서 VR로 이를 감상하는 방식으로 관객의 시점을 미리 시뮬레이션하며 스케일과 원근감을 조정해 나갔습니다. 이러한 방법으로 플레이브의 콘서트는 대형 콘서트장의 어떤 좌석에서도 눈앞의 무대에 멤버들이 실존한다는 현실감을 관객들에게 전달할 수 있었습니다.
(좌) 가상에서의 VR 시뮬레이션 / (우) 실제 무대 연출 장면
LED 그 이상의 무한한 상상력을 담게 해 준 언리얼 엔진
이러한 고민의 결과로 실존하는 아티스트의 콘서트에서는 불가능한 아이디어와 연출, 예를 들면 탑의 꼭대기처럼 다양한 공간을 이동하며 노래 부르기, 바이크를 탄 채로 무대로 등장하고 연출의 단절 없이 공연 시작하기, 등장이나 퇴장 시에 꽃잎을 흩뿌리면서 나타나고 사라지기 등 그야말로 버추얼 아이돌이기에 가능한 연출을 실현할 수 있었습니다. 이러한 시각적 효과에서 더 나아가 연기와 같은 실제 무대 장치들을 결합하여 일반적인 콘서트에서는 불가능한 특별한 연출을 시도할 수 있었습니다. 그 중에서도 플레이브의 세계관에 등장하는 큐브로 가득찬 아스테룸이라는 공간에서 세계관 속 빌런과 벌인 박진감 넘치는 격투 액션 씬은 그야말로 버추얼이 아니었다면, 불가능한 무대였을 것입니다.
또한, 언리얼 엔진은 LED 스크린 너머의 공간에 원하는 환경을 효율적으로 제작하고 다양한 연출들을 자유롭게 시도할 수 있게 해 주었습니다.
물리적인 시공간의 제약 속에서 짧은 기간 내에 다수의 조직이 동시 협업해야 하기 때문에 작업 충돌을 피하면서도 변경 사항들을 실시간으로 동기화할 수 있는 파이프라인은 매우 중요한데, 언리얼 엔진의 레벨 스트리밍과 서브 시퀀스 기능이 큰 도움이 되었습니다. 레벨 스트리밍 덕분에 레벨 디자인, 애니메이션, 룩뎁 작업을 분리하여 하나의 퍼시스턴트 레벨에 스트리밍하는 방식으로 각 팀의 작업 공간을 분리하면서도 동시에 협업이 가능했습니다. 또한, 룩뎁 레벨 시퀀스 안에 애니메이션 서브 시퀀스를 적용하여 애니메이터와 룩뎁 아티스트의 작업 시퀀스를 분리하면서도 서로의 변경 사항을 함께 업데이트할 수 있었습니다.
물리적인 시공간의 제약 속에서 짧은 기간 내에 다수의 조직이 동시 협업해야 하기 때문에 작업 충돌을 피하면서도 변경 사항들을 실시간으로 동기화할 수 있는 파이프라인은 매우 중요한데, 언리얼 엔진의 레벨 스트리밍과 서브 시퀀스 기능이 큰 도움이 되었습니다. 레벨 스트리밍 덕분에 레벨 디자인, 애니메이션, 룩뎁 작업을 분리하여 하나의 퍼시스턴트 레벨에 스트리밍하는 방식으로 각 팀의 작업 공간을 분리하면서도 동시에 협업이 가능했습니다. 또한, 룩뎁 레벨 시퀀스 안에 애니메이션 서브 시퀀스를 적용하여 애니메이터와 룩뎁 아티스트의 작업 시퀀스를 분리하면서도 서로의 변경 사항을 함께 업데이트할 수 있었습니다.
VLAST 이미지 제공
레벨과 시퀀스 구조
또한 콘서트 현장의 분위기를 고조시키는 현란한 DMX 조명 연출도 언리얼 엔진의 뛰어난 DMX 연동 지원 덕분에 가능했습니다. 언리얼 엔진 공연 조명을 전문으로 다루는 메타로켓과 협업하여 언리얼 엔진 내에서 실제 콘서트 현장 조명을 시뮬레이션하면서 현실과 가상의 무대 조명을 완성하였습니다.
메타로켓과의 협업으로 완성된 공연장 무대조명
무엇보다 가장 큰 도움이 된 언리얼 엔진의 강점은 비주얼 퀄리티까지 보장된 리얼타임 렌더링입니다. 덕분에 콘서트 2~3일 전까지도 끊임없이 수정하며 퀄리티를 끌어올릴 수 있었고, 콘서트 직전의 리허설까지도 이슈를 확인하고 해결할 수 있었기 때문에, 촉박한 시간임에도 완성도 높은 콘서트를 제작할 수 있었습니다.
지금 언리얼 엔진을 다운로드하세요!
세계에서 가장 개방적이고 진보된 제작 툴을 받아보세요.
모든 기능과 무료 소스 코드 액세스가 포함된 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
모든 기능과 무료 소스 코드 액세스가 포함된 언리얼 엔진은 제작에 바로 사용할 수 있습니다.