넷마블에프앤씨의 기술과 카카오엔터테인먼트의 감성이 더해진 메타버스엔터테인먼트는 영화, 드라마 제작뿐만 아니라 VFX, 버추얼 휴먼 등 다양한 콘텐츠를 창작하고, 그 IP를 다양한 콘텐츠로 확장시킬 수 있는 역량과 인프라를 보유한 종합 미디어 콘텐츠 제작사입니다.
MAVE:(메이브)는 2023년 1월 말 첫 뮤직 비디오 공개를 시작으로 대한민국 대표 음악 프로그램 중 하나인 쇼! 음악중심에도 데뷔 무대를 가지며 K-POP 버추얼 아이돌 그룹이라는 분야에서 새로운 물결을 일으키고 있습니다. 메이브는 사실적인 캐릭터 비주얼과 자연스러운 애니메이션은 물론, 중독성 있는 음악으로 데뷔 1개월 만에 뮤직 비디오 1,800만 뷰, 데뷔 생방송 무대 영상 300만 뷰를 각각 기록하며 엄청난 주목을 받고 있으며 TV쇼, SNS 등을 통해 팬들과 다양한 방식으로 소통하고 있습니다.
사실적이고 자연스러운 디지털 휴먼을 구현하기 위해 언리얼 엔진과 메타휴먼 기술을 어떻게 활용하였고, 단시간 내에 다양한 플랫폼을 위한 콘텐츠를 어떻게 제작할 수 있었는지 알아보기 위해 메타버스엔터테인먼트의 CTO이신 강성구 이사님과 얘기를 나눠봤습니다.
메이브의 첫 시작은 멤버들 제작에 있었을 것 같습니다. 어떤 목표를 가지고 디지털 캐릭터들을 제작하셨나요?
메이브는 4인조 버추얼 그룹으로 세상 어디에도 없는 완전히 새로운 외형을 가진 각각의 매력적인 캐릭터를 제작하는 것을 목표로 했습니다. 매력적인 캐릭터는 기본 외형뿐만 아니라 여러 상황에 맞는 다양한 표정과 디테일을 표현하는 것이 핵심이었기 때문에 이것을 위한 파이프라인과 기술을 구축하고 개발하는 데 초점을 두었습니다.
매력적인 캐릭터를 제작하기 위해 메타휴먼 기술을 활용했다고 들었습니다. 그 이유에 대해 말씀해 주시겠어요?
매력적인 캐릭터는 기본 외형뿐만 아니라 여러 상황에 맞는 다양한 표정을 세밀하게 표현하는 것이 매우 중요합니다. 그런데 이러한 표정을 제작하거나 수정하는 것은 항상 리깅과 모델링 작업 동반되어야 하고 반복적인 수정과 확인을 요하기 때문에 많은 시간과 비용이 요구됩니다. 그렇기 때문에 수십 년간의 디지털 휴먼 제작 기술의 노하우가 적용된 '메타휴먼'은 더할 나위 없는 완벽한 선택이었고, 저희 캐릭터 파이프라인 구축에 있어 매우 중요한 부분을 차지했습니다.
메타휴먼의 페이셜 컨트롤을 통해 원하는 표정을 제작하거나, 캐릭터 간의 애니메이션을 손쉽게 공유할 수 있었고, 에픽게임즈에서 공개한 릭 로직: 메타휴먼 페이스 릭의 런타임 평가 백서를 참고하여 릭의 컨트롤 방식을 개선하는 등 연구개발에 집중할 수 있었습니다. 또한, NVIDIA의 Audio2Face, iPhone, Faceware, FACEGOOD 등의 외부 툴과의 높은 호환성 덕분에 메타휴먼의 애니메이션을 적용할 수 있었는데, 기본적인 메시의 토폴로지, UV, 조인트 구조, 컨트롤 등을 그대로 공유할 수 있어 실제 제작 시간을 엄청나게 단축할 수 있었습니다.
메타버스엔터테인먼트 제공
릭의 컨트롤 방식을 개선하기 위한 R&D 결과물
메타휴먼과 함께 언리얼 엔진을 채택한 이유가 무엇일까요?
메이브의 기획 단계에서 어떤 포지셔닝과 활동을 해야 할지에 대한 고민이 컸고, 콘텐츠의 생산성은 이 고민에서 가장 중요한 고려 사항이었습니다. 많은 활동은 많은 양의 콘텐츠 생산을 의미하고 즉 제작의 효율성이 뒷받침되어야 합니다. 그렇지 않은 경우에는 시각적 퀄리티를 희생해야 할 수도 있기 때문입니다. 따라서 작업의 효율성뿐만 아니라, 오프라인 렌더링과 견줄 만한 렌더링 퀄리티를 실시간으로 제공하는 언리얼 엔진을 선택했고, 언리얼 엔진을 활용하여 트랜스미디어의 형태로 단시간 내에 뮤직비디오 제작, SNS 활동 그리고 추후 출연할 TV쇼, CF 등 다양한 영역에서 메이브의 활동을 이어나갈 수 있었습니다.
특히 SNS 채널은 아이돌이 팬들과 언제든지 연결될 수 있는 매우 중요한 채널로서, 채널 운영을 위해서는 그만큼 고퀄리티의 콘텐츠가 다양한 형태로 다량 필요하게 되는데, 언리얼 엔진을 선택한 덕분에 사실적인 이미지는 물론 일반 영상, 쇼츠 폼 영상 등 다양한 플랫폼에서 팬들과 소통할 수 있는 여러 형태의 콘텐츠 제작이 가능했습니다. 그 결과, 콘텐츠 제작의 효율성과 퀄리티라는 두 마리 토끼를 모두 잡을 수 있었습니다.
메이브의 각 캐릭터가 어떤 파이프라인을 통해 제작되었는지 궁금합니다.
메이브 제작팀은 게임, 영화 등 다양한 산업 분야의 인재들로 구성되다 보니, 산업별로 각각 다른 DCC 툴을 사용해 왔습니다. 예를 들어, 게임 산업 출신의 팀원은 리얼타임 렌더링에 대한 이해도가 높고, M&E 산업의 인재들은 영상 미디어 제작에 대한 전문성을 지니고 있는 만큼 각 팀원들의 시너지 효과를 극대화하기 위해서 특별한 파이프라인을 구축했습니다.
메타버스엔터테인먼트 제공
파이프라인은 크게 캐릭터 기획과 캐릭터 제작으로 나누어지고, 캐릭터 제작은 다시 모델링, 표정 생성 및 리깅, 헤어 제작, 바디 보정 등의 단계로 나눠집니다.
캐릭터 기획은 각 캐릭터의 외형을 계획하는 단계로, 이 과정은 성공적인 아이돌 기획 경험을 다수 보유한 카카오 엔터테인먼트의 전문가들과 긴밀하게 협업하여 진행했습니다. 다만 기존의 아이돌 그룹은 연습생이란 이미 존재하는 집단 구성원 내에서 알맞는 구성원을 선택하고 메이크업과 스타일링으로 외형의 특성을 완성시키는데, 이에 반해 버추얼 아이돌 그룹의 경우, 기본 외형뿐만 아니라 세밀한 표정, 움직임, 말투 등의 다양한 매력을 지닌 완전히 새로운 사람을 창조해 내야 한다는 큰 차이점이 있습니다.
이런 차이를 줄이고 기획팀의 기존 방식과 최대한 비슷한 작업 환경을 제공하기 위해 개발팀은 GAN 네트워크를 사용해 타깃 이미지를 자동으로 생성하고 직접 아이겐 벡터를 수정하거나 조합할 수 있는 파이프라인을 구축했습니다. 덕분에 기획 의도에 맞는 캐릭터의 외형을 처음부터 하나하나 설정할 필요 없이, 기획팀에서 다년간 구축해 온 성공적인 아이돌 그룹의 공식에 맞는 비슷한 외형의 캐릭터를 선택하고 파라미터를 수정해 가며 기획 의도를 맞춰 갈 수 있었습니다.
메타버스엔터테인먼트 제공
GAN 네트워크를 활용한 이미지 합성
얼굴을 정하는 단계에서는 스타일링에 따라 모델링이 달라지기 때문에 K-POP 아이돌의 의상과 헤어를 담당했던 전문 스타일리스트들과 K-POP 아이돌 공식에 맞는 스타일링을 결정한 후 모델링을 진행했습니다. 실제 사람을 스캔한 후 제작한다면 훨씬 빠르게 사실적인 외형을 만들 수 있었겠지만, 그 과정에는 기획된 얼굴과 똑같은 외형의 사람을 찾는 어려움, 초상권 문제와 같은 예상되는 이슈가 많았기 때문에, 메이브는 모델링을 통해 얼굴을 제작했습니다.
메타버스엔터테인먼트 제공
메이브의 3D 모델링
표정을 생성 및 수정하는 단계에서는 모델을 분석하고, 각 영역의 위치와 크기, 근육의 흐름 등을 고려해 약 800여개의 표정을 자동으로 생성하는 자체 제작 툴을 활용했습니다. 이 과정은 메타휴먼의 메시 투 메타휴먼 플러그인과 같이 기본 형태의 메시를 넣으면 표정을 자동으로 생성해 주는 기능과 비슷합니다. 이 기능을 개발했던 당시에는 메시 투 메타휴먼 플러그인이 출시되지 않았기 때문에 자체적으로 개발했지만, 필요에 따라 알고리즘을 수정하고 자동화된 파이프라인을 구축하는데 많은 도움이 됐습니다.
또한, 일반적인 표정 외에, 캐릭터의 성격이 반영된 고유의 표정을 커스터마이징할 수 있는 기능을 제작했습니다. 이렇게 기존에 없던 표정이 추가된 경우에는 그에 맞는 리깅이 필요하므로 언리얼 엔진의 컨트롤 릭을 자동으로 생성하고 캐릭터에 맞게 구성했습니다.
메타버스엔터테인먼트 제공
눈썹을 들고 눈을 감은 상태에서 눈동자를 아래로 내리면 생기는 주름을 제거하는 과정
헤어는 기본적으로 마야의 XGen을 이용해 제작되었습니다. 그룸을 통한 언리얼 엔진의 헤어 렌더링은 리얼타임이라 믿을 수 없는 수준의 퀄리티를 보여줬으며, 그 덕분에 많은 작업 시간을 아낄 수 있었습니다. 하지만, 경우에 따라 더 높은 퍼포먼스를 위해 그룸을 쓸 수 없는 경우가 있었는데, 이런 경우에는 그룸 기반의 헤어를 카드로 바꿔주는 툴을 제작하여 사용했습니다. 헤어를 교체하는 과정에서 바인딩 에셋이 없는 경우 수동으로 생성해야 하는 것과 같이 헤어를 수정하고 적용하는 데 발생하는 번거로움은 자동화를 통해 작업 공정을 최적화했습니다.
바디를 보정하는 단계에서도 자동화를 적용하여, 수십 개의 보정 셰이프를 활용해 포즈에 따라 형태가 수정되도록 설정하였습니다. 디테일한 설정을 적용하면 의도하지 않은 형태의 바디가 나올 확률이 높아진다거나 보간에 계층구조를 적용할 수 없는 등 RBF 솔버를 사용하면 발생할 수 있는 문제들은 새로운 솔빙 알고리즘을 개발하여 피할 수 있었습니다.
디지털 아이돌 그룹으로 K-POP의 감성을 녹여낸 자연스러운 무대를 구성하고 연출하는 것이 쉽지는 않았을 텐데요, 어떠한 노력이 있었는지 들려주세요.
K-POP의 감성이 잘 녹아있는 뮤직 비디오를 만들기 위해 실제 K-POP 뮤직 비디오를 연출해 온 감독님과 카메라 감독님, 그랩 팀과 지미집 그리고 실제 K-POP 댄스팀이 함께 작업했습니다. 저희는 새로운 환경 속에서도 K-POP 제작팀의 감각이 발휘될 수 있도록 기존 작업 방식 및 환경과 최대한 비슷한 환경을 조성하려고 노력했습니다. 그 일환으로 20m x 20m x 8m 크기의 대형 VFX 센터를 마련하여 실제 뮤직 비디오 촬영장만큼이나 큰 공간에서 모션 캡처를 진행하였으며, 배우의 액션뿐만 아니라 실제 촬영 장비의 움직임도 캡처하여 뮤직 비디오의 현란한 카메라 워크까지 구현할 수 있도록 공간을 구성했습니다.
녹화도 실제 K-POP 뮤직 비디오와 동일한 방식으로 진행했습니다. 모션 캡처를 진행했던 현장을 촬영한 카메라의 녹화본으로 먼저 컷편집을 진행하고, 이를 기반으로 모션 캡처의 클리닝을 진행하였습니다. 따라서 최종본에서 실제 사용되는 부분에 집중하여 클리닝 작업이 가능했고, 실제 사람의 움직임을 참고하여 작업했기 때문에 더욱 자연스러운 움직임을 담을 수 있었던 것 같습니다.
메이브가 준비하고 있는 콘텐츠와 함께 메타버스엔터테인먼트의 나아갈 방향에 대해 알려주세요.
메이브는 언리얼 엔진을 활용한 버추얼 셀럽으로서 기존 아이돌과 차별화할 수 있는 전혀 다른 차원의 콘텐츠를 준비하고 있습니다. 열심히 준비하고 있으니 많이 기대해 주세요.
이외에도 직, 간접적으로 엔터테인먼트와 관련되어 있는 사업을 진행하면서 생산된 IP로 파트너들과의 협업하여 트랜스미디어 프로젝트를 성공적으로 진행하고 있습니다. 앞으로는 영화, 드라마, 게임 등 기존 IP를 활용한 사업뿐만 아니라, 메타버스엔터테인먼트의 전문 분야인 버추얼 휴먼, 메타버스 등을 통해 사업 영역을 더욱 확대해 나갈 예정입니다. 그리고 언리얼 엔진은 그 과정에서 필요한 실시간 팬덤 콘텐츠, 인터랙티브 콘텐츠, 뉴미디어 등 다양한 콘텐츠의 강력한 기반이 될 것입니다.