언리얼 엔진의 실시간 렌더링과 3레터럴(3Lateral)의 메타 휴먼 프레임워크©(Meta Human Framework©) 볼류메트릭 캡처, 복원 및 압축 기술의 결합은 이와 같은 디지털 표현 기술의 획기적인 발전을 이뤄내었습니다. 이 볼류메트릭 데이터는 통제된 라이트 하에서 앤디 서키스의 높은 충실도의 실시간 이미지를 다양한 각도에서 캡처하여 생성된 것입니다. 3레터럴의 프로세스에는 다양한 캡처 시나리오가 포함되어 있으며, 이 중 일부는 지오메트리에, 일부는 생김새에, 그리고 나머지는 모션에 집중되어 있습니다. 이 모든 입력들은 앤디 서키스의 얼굴을 디지털 재현으로 생성해내는 데 적용되며, 또한 이 얼굴을 생동감 있게 만들어줄 안면 근육의 움직임을 재현하는 전체 안면 시멘틱을 추출하는 데에도 적용됩니다.
그 결과물로 높은 충실도의 실시간 영상으로 만들어진 앤디 서키스의 디지털 안면은 “맥베스(Macbeth)”의 대사들을 읊으면서, 실제 연기와도 거의 구분할 수 없는 영상 및 표현의 퀄리티를 보여주었습니다. “맥베스” 연기 데이터는 3레터럴이 창조해낸 상상 속 디지털 생물, 오시리스 블랙(Osiris Black)에도 그대로 적용되어, 똑같은 캡처 데이터를 두 개의 완전히 다른 인물들에 활용할 수 있다는 것도 시연해 보였습니다. 서키스는 특출난 연기 재능 뿐만 아니라 디지털 연기 과정 및 기술에도 굉장히 정통하고 깊은 경험을 가지고 있었기 때문에, 이번 기술 검증 시연에서도 굉장히 이상적인 재현 원본으로서 협조해 주었습니다.
이 대규모 데이터 세트를 보여주기 위해, 3레터럴의 시멘틱 압축은 데이터 완정성은 그대로 보존하면서 데이터 세트를 줄여서, 시선이나 미묘한 연기의 뉘앙스를 쉽게 바꾸면서 퍼포먼스를 디지털 캐릭터에 리타깃할 수 있게 해 줍니다. 이처럼 놀라울 정도로 높은 충실도를 보여주는 캡처는 언리얼 엔진으로 불러와 실시간 볼류메트릭 퍼포먼스를 할 수 있는 데이터 세트로 오프라인에서 프리 프로세스 된 것입니다.
이렇게 기술이 검증된 포토리얼리스틱 디지털 휴먼 기술은 아직 전문적인 시각효과 영역에 머물러있지만, 언젠가 인터랙티브 엔터테인먼트, 시뮬레이션, 연구, 기계와의 인터페이스로서 비언어 커뮤니케이션, 인공지능 및 혼합 현실 어플리케이션에도 활용될 것입니다.