이름에서 알 수 있듯이, 퍼포먼스 캡처의 목표는 연기자의 고유한 연기 퍼포먼스를 캐릭터로 고스란히 전송해 사실성과 개성을 모두 잡는 것입니다. 동일한 퀄리티의 결과물을 내기 위해 키프레이밍 방식으로 작업한다면 막대한 시간이 소요될 것입니다(시간을 들여도 불가능할 수도 있습니다!). 여기에 속도라는 요소가 더해지면 실시간 퍼포먼스 캡처가 됩니다. 즉 연기자의 퍼포먼스 전체가 즉각적으로 CG 캐릭터로 전송되며 리얼타임 애니메이티드 시퀀스가 만들어지게 됩니다.
리얼타임 모션 캡처와 리타겟팅 기술은 영화 ‘웰컴 투 마웬(Welcome to Marwen)'에서부터 포트나이트 시네마틱 트레일러에 이르기까지 다양한 프로젝트에서 이미 주목을 받고 있습니다. 이 기술 덕분에 세트장에서 새로운 창의력과 협업의 가능성이 더 많이 열린 건 사실이지만, 그래도 캐릭터의 최종 버전을 만들기 위해서는 여전히 모션 캡처 세션 후에도 작업해야 하는 부분이 많았습니다. 페이셜 애니메이션을 별도의 패스로 작업한 후 보디 모션과 결합해야 했기 때문입니다.
실시간 페이셜 캡처와 리타겟팅을 도입하게 되면서 비로소 완전한 신세계가 펼쳐지게 됩니다. 이제는 배우가 연기를 하면, 그 즉시 전체 CG 캐릭터의 최종 픽셀 아웃풋이 실시간으로 생성됩니다. 큐빅 모션(Cubic Motion), 쓰리레터럴(3Lateral), 디지털 도메인(Digital Domain)과 같은 업체에서는 지난 수년간 페이셜 캡처 R&D 부문에 몰두하며, 개별 고객에 맞춘 커스텀 퍼포먼스 캡처 솔루션도 개발했습니다.
그렇다면 나만의 인하우스 시스템이 필요하거나 일단 한번 경험해보고 싶은 경우에는 어떻게 하면 될까요?
실시간 퍼포먼스 캡처 이야기에 귀가 솔깃하시다면, 제대로 찾아오신 겁니다. 아래에 소개해드리는 페이셜 캡처 시스템을 여러분의 모션 캡처 파이프라인에 통합한다면 여러분이 원하는 곳 어디에서나 실력을 발휘하는 퍼포먼스 캡처 솔루션을 만드실 수 있습니다.
애플 아이폰X
2018 시그라프(2018 SIGGRAPH) 콘퍼런스에서 리얼타임 라이브!(Real-Time Live!) 우승의 영예는 카이트&라이트닝(Kite & Lightning)이 선보인 ‘모션 캡처의 대중적 보급: 아이폰X, 엑스센스(Xsens), 아이키네마(IKINEMA), 언리얼 엔진을 통한 실시간 풀 퍼포먼스 모션 캡처’에 돌아갔습니다. 해당 프로젝트에서 보여준 리얼타임 UE4 캐릭터 ‘베비(Beby)’가 바로 보디와 페이셜 캡처의 조합으로 구현해낸 작품입니다.카이트&라이트닝이 페이셜 캡처에 사용한 장치는 아이폰X였습니다. 카이트&라이트닝의 공동설립자인 코리 스트라스버거(Cory Strassburger)는 페인트볼용 헬멧에 직접 아이폰을 매달아 마치 헤드 마운티드 카메라(head-mounted camera; HMC)처럼 활용했습니다. 또한 보디 캡처는 엑스센스 MVN(XSens MVN) 모션 캡쳐 슈트로 진행했습니다.
그 후로 많은 사람이 코리가 개발한 페이셜 캡처 방식을 따라 해왔고, 이제는 UE4에서도 해당 방식을 지원합니다. 에픽 런처의 학습 탭을 보시면 데모 프로젝트 ‘소년과 연(A Boy and his Kite)'의 캐릭터 애셋을 활용한 페이셜 AR 샘플을 무료 테스트 예제로 제공 중입니다.
애플 AR킷, 아이폰의 빌트인 카메라 기술, 여기에 애플의 시각적 관성 거리계(visual inertial odometry; VIO)가 유기적으로 작동하며 영상을 안정화시키는 동시에 버추얼 페이스를 구현하는 50여 종의 블렌드 셰이프를 생성해냅니다. 이 덕분에 아이폰을 헬멧에 부착하지 않고 직접 손으로 들고 찍어도 얼굴을 실시간으로 UE4에 전송할 수 있습니다. 애플의 라이브 페이스타임(live Facetime) 채팅에서 애니모지(Animoji)나 미모지(Memoji)를 사용할 수 있는 것도 이런 페이셜 캡처 방식 덕분입니다.
때로는 손에 든 채로, 때로는 헬멧에 매달고 찍을 수 있는 아이폰X는 저렴하면서도 손쉽게 활용할 수 있는 페이셜 캡처 솔루션입니다. 여기에 보디 모션 캡처가 더해진다면 사실상 어디에서나 사용할 수 있는 퍼포먼스 캡처 시스템이 완성됩니다.
큐빅 모션 페르소나(Cubic Motion Persona)
큐빅 모션은 UE4 퍼포먼스 캡처가 혁혁한 발전을 이룩하는 데에 중요한 역할을 해왔습니다. 히트작인 ‘헬블레이드(Hellblade)’나 시그라프에서 선보였던 속편 ‘헬블레이드: 세누아의 희생(Senua’s Sacrifice)' 시그라프 데모에서, 극도로 사실적인 ‘사이렌(Siren)'에 이르기까지, 이러한 애니메이션 리그(rig)을 구현하는 데에는 큐빅 모션에서 제공하는 리얼타임 마커리스(markerlesss) 트래킹과 솔빙이 사용되었습니다.큐빅 모션은 고객사인 게임회사를 위해 수 시간 분량의 페이셜 솔루션을 정기적으로 제작하고 있으며, 각종 VFX 프로젝트의 외부 전문 업체로서 큰 힘을 실어주고 있습니다. 이들은 컴퓨터 비전과 페이셜 분야의 전문가로서, 얼굴에 대해 그 누구보다 더 잘 알기 때문에 어떤 문제라도 신속하고도 탁월하게 해결해냅니다.
이제 큐빅 모션에서는 이 모든 서비스를 하나의 패키지로 묶어 ‘페르소나(Persona)'라는 이름으로 제공하고 있습니다. 하드웨어, 소프트웨어, 커스텀 솔버를 갖춘 이 시스템은 그야말로 이모션 캡처와 리얼타임 퍼포먼스를 위한 완전한 하이엔드 솔루션입니다.
물론 아이폰을 활용하는 방식도 훌륭한 페이셜 캡처 솔루션이기는 하지만, 아무래도 전문 하드웨어로 얻은 결과물과 비교하면 정확도가 떨어지기 마련입니다. 페르소나의 헤드 마운티드 카메라는 안정적이기 때문에 표정을 더욱 정확하게 읽어내며, 커스텀 솔버가 탑재되어 있어 각 연기자의 얼굴의 움직임에 잘 반응합니다.
페르소나를 개발하기 위해, 큐빅 모션은 전 세계적으로 손꼽히는 수준인 페이셜 트래킹 서비스와 새로운 커스텀 하드웨어를 결합했습니다. 해당 시스템을 활용하면 여러 명의 연기자를 대상으로 동시에 작업할 수 있습니다. 연기자는 각자 3D 프린터로 제작된 고품질 HMC를 착용하고, 완전 무선인 보디 애니메이션 시스템을 입은 상태로 무대나 공간에서 자유롭게 연기를 펼칠 수 있습니다.
또한 큐빅 모션은 AAA급 게임 고객사에 제공하는 것과 동일한 서비스를 제공하고 있습니다. 즉 여러분이 각 프로젝트의 시작에 앞서 모션 범위(range of motion; ROM) 클립을 타깃 애니메이션 리그와 함께 전달하면, 큐빅 모션 측에서는 이를 바탕으로 연기자별 커스텀 솔버를 만들어주는 겁니다.
각 연기자에게는 HMC 외에도 자신만의 소형 웨어러블 컴퓨터가 주어집니다. 해당 컴퓨터가 풀 트랙 솔브를 수행하며, 데이터를 무선으로 세트장에 스트리밍해 줍니다. 또한 페르소나 구성품 중에는 매니지먼트 시스템도 포함되어 있습니다. 이 시스템은 무대 측면에 설치한 메인 컴퓨터에 탑재되며, 제작팀은 여기서 설정과 모니터링을 전부 관리할 수 있습니다. 데이터 스트림은 곧바로 언리얼 엔진 플러그인으로 전송되어 리얼타임 페이셜 애니메이션이 생성됩니다.
이 디자인의 핵심적인 요소는 바로 각 연기자에게 할당된 페르소나 컴퓨터에서 메인 언리얼 플러그인으로 전송되는 데이터가 훨씬 줄어든다는 점입니다. 즉 전체 비디오 영상이 전송되지 않기 때문에 특별한 케이블이나 송신기 없이도 안정적으로 작동합니다.
페르소나는 대중적인 솔루션은 아니지만, VFX와 게임 관련 업체에서는 특출한 하이엔드 리얼타임 애니메이션을 인하우스에 구비할 방안을 제공해줍니다. 큐빅 모션이 UE4만을 사용하지는 않지만, 이들은 하이엔드 고객의 대다수가 이런 류의 작업에 UE4를 선택한다는 점을 지적합니다.
위의 솔루션을 직접 살펴보신 후, 언리얼 엔진을 다운받아 여러분의 프로젝트에도 사용해보세요. 또한 언리얼 엔진의 버추얼 프로덕션 페이지에 방문하셔서 버추얼 프로덕션에 관한 팟캐스트, 비디오, 기사를 다양한 형태로 만나보실 수 있습니다!