2018년 4월 18일

FMX 2018에 전시된 Siren: 리얼타임으로 극복하는 언캐니 밸리

저자: Dana Cowley

GDC 2018에서 에픽게임즈는 3레터럴(3Lateral), 큐빅 모션(Cubic Motion), 텐센트(Tencent) 및 바이콘(Vicon)과 협력하여 실시간 캡처 디지털 휴먼을 한 단계 더 발전시켰습니다. 독일 슈투트가르트에서 개최되는 FMX의 참석자들은 중국 여배우 빙지에 장(Bingjie Jiang)의 외모를 기반으로 제작한 높은 충실도의 리얼타임 디지털 휴먼, "사이렌(Siren)"을 만날 수 있습니다. 4월 24일부터 27일까지, 영국 여배우 알렉사(Alexa)가 FMX에 설치될 바이콘 부스 2.1에서 사이렌의 라이브 퍼포먼스를 선보일 예정입니다.

Siren_ViconBooth_GDC2018.jpg

사이렌은 언리얼 엔진으로 구현 가능한 결과물의 데모로서 만들어졌습니다. 이 공동 프로젝트에는 다음과 같은 디지털 휴먼 기술 분야의 리더들이 참여하였습니다:

3레터럴은 여배우 빙지에 장의 3D 및 4D 스캐닝을 맡았습니다. 사이렌의 스캔 데이터는 3레터럴의 스캐닝 시스템을 사용하여 얻었습니다. 3레터럴 팀은 모델과 텍스처 데이터를 만들고, 기본적인 컨트롤을 내장한 디지털 더블 페이셜 리그를 구축하고, 얼굴 애니메이션을 실시간으로 조종할 수 있게 해 주는 자신들의 리그 로직 기술을 적용하였습니다. 

큐빅 모션은 라이브 및 오프라인 페이셜 퍼포먼스 캡처, 트래킹, 솔빙 및 애니메이션을 처리했습니다. 큐빅 모션의 소프트웨어는 연기자의 머리에 착용한 카메라 영상을 분석하고, 이 애니메이션 퍼포먼스를 3레터럴이 만든 페이셜 리그에 적용했습니다. 또한 큐빅 모션은 CG 캐릭터를 실시간으로 조종하기 위해 여배우의 연기의 라이브 비디오 피드를 활용한 라이브 솔버도 제공했습니다. 

에픽게임즈는 렌더링 기술 개선 및 스킨 셰이더를 포함한 외모 개발을 주도했으며, CG 캐릭터를 만들었습니다. 에픽게임즈의 언리얼 엔진 4는 바이콘으로부터 퍼포먼스 데이터를, 그리고 큐빅 모션으로부터 얼굴 데이터를 받아 이 데이터를 캐릭터에 적용한 다음, 실시간으로 씬을 렌더링하였습니다. 또한 에픽게임즈는 아티스트 및 제작 팀 전체를 지원할 엔지니어링 인력들도 제공해 주었습니다.

텐센트는 캐릭터의 외모 개발 면에서 에픽게임즈와 협력하였고, 높은 수준의 창의적 및 기술적 지침을 제공했습니다.

바이콘은 사이렌의 몸과 손가락 모션 캡처하는 역할을 맡았습니다. 바이콘 시스템은 자사의 쇼군(Shogun) 소프트웨어 시스템을 통해 언리얼 엔진에 배우 퍼포먼스 데이터가 전송됩니다. 이번 데모의 캡처 세션은 영국 옥스포드에 위치한 바이콘 본사에서 완료되었습니다.
 

새로운 형태의 미디어가 등장하면서, 디지털 휴먼은 더욱 중요해지고 있습니다. 언젠가 우리 모두 자신의 디지털 분신을 가질 수 있을 것이며, 이처럼 감정적 교류가 가능한 매력적인 캐릭터를 갖는 일은 사실적인 캐릭터를 만든 후에야 가능할 것입니다. 

이 데모를 통해 그 실현 가능성과 앞으로 누구나 이런 수준의 캐릭터를 만들어낼 수 있도록 에픽게임즈가 언리얼 엔진에서 구축할 툴을 엿볼 수 있습니다.

트위터(Twitter)의 @UnrealEngine 계정과 #MeetSiren 해시태그를 통해 사이렌을 주제로 한 대화에 참여해 보세요.