December 12, 2018

궁극의 디지털 휴먼을 빚어내기 위한 Digital Domain의 탐구

저자: Ben Lumsden

디지털 휴먼과 실제 사람을 분간할 수 없게 되는 단계에 이르는 건 그야말로 시간문제입니다. 오늘날에는 불쾌한 골짜기(언캐니 밸리, ncanny valley)를 넘어서는 수준의 리얼리즘을 자랑하는 영화 프로젝트가 나날이 그 수를 더해가고 있습니다. 그런 와중에  디지털 도메인(Digital Domain)의 디지털 휴먼 그룹(Digital Human Group)에서는 버추얼 프로덕션에서도 그와 같은 수준의 품질을 구사하는 실시간 솔루션 구현을 목표로 개발에 착수하였습니다.

이제 기술은 실제 사람과 별반 차이가 없는 디지털 휴먼을 만들어내는 수준의 코 앞까지 왔습니다. 다만 페이셜 캡처 기술의 발전이 관건이죠. 시청자들이 실제 사람의 안면근육, 피부, 눈동자 움직임을 직감적으로 알기 때문에, 디지털 휴먼 얼굴을 애니메이팅하는 프로세스가 그만큼 까다롭기 때문입니다. 이와 동시에 페이셜 캡처 시스템으로는 연기자가 행하는 퍼포먼스의 특색까지도 고스란히 담아내야만 합니다.

디지털 휴먼 그룹은 지난 10여 년의 세월 동안 사실적인 디지털 휴먼을 만들어내는 신기술을 개발하는 데에 매진해 왔습니다. 디지털 휴먼 그룹은 언리얼 엔진을 활용해 더없이 혁신적인 실시간 시스템을 제작 중이며, 이제 완성을 코앞에 두고 있습니다. 이 시스템은 향후 디렉터, 기술팀, 연기자가 세트장에서 협력하는 방식을 완전히 뒤바꾸게 될 것입니다.
 

버추얼 프로덕션을 통해 진일보한 프로덕션 프로세스

“저희는 여러 영역 중에서도 특히 버추얼 프로덕션 방식 전반에 가장 큰 기대를 걸고 있습니다.” 디지털 휴먼 그룹의 데런 헨들러(Darren Hendler) 디렉터가 설명했습니다. “아직은 일부만을 세트장에서 적용한 단계입니다. 캐릭터가 어떤 모습일지를 연기자에게 직접적인 예시로 보여주는 정도죠. 이것만 해도 세트장에서 굉장한 위력을 발휘합니다. 연기자는 자신의 퍼포먼스가 어떻게 보일지, 또 어떤 식으로 변환될지를 실제로 볼 수 있기 때문이죠.”

“하지만 만일 연기자, 디렉터 등 사람들이 있는 세트장에서 이 모든 작업이 라이브로 진행될 수 있다면 어떻겠습니까?”

“가까운 미래에 모두 현실화 될 것이기 때문에, 이 신기술로 어떤 일들이 가능해질지 눈여겨 봐야 할 것입니다." 

AI와 실시간 기술의 융합

디지털 휴먼 그룹은 버추얼 프로덕션의 영역을 한층 더 깊이 파들어가던 중, 실시간으로 구현하는 리얼리즘을 한 차원 더 끌어올리기 위해 필요한 프레임워크를 다름 아닌 언리얼 엔진에서 발견할 수 있었습니다. 헨들러는 여기에 더해 딥러닝과 인공지능을 활발히 연구한 성과가 이번 신기술을 개발하는 핵심적인 추진력이 되었다고 설명했습니다.

릭을 생성하고 애니메이팅하는 기존 프로세스에서는 아무래도 아티스트가 작업할 때 릭으로 인한 제약을 받을 수밖에 없었습니다. 하지만, 디지털 휴먼 그룹은 그 대신 카메라로 페이셜 무브먼트를 초고화질로 캡처하면 퍼포먼스가 향상될 뿐만 아니라, AI와 딥러닝(deep learning)을 활용하여 프로세스를 이례적으로 비약시킬 수 있음을 발견해냈습니다.

blog_body1.jpg

헨들러는 이제 시스템이 스스로 얼굴을 인식하고 파악해서 다시 만들어내면서도, 연기자의 퍼포먼스가 지닌 고유한 특색은 고스란히 담아내도록 자동으로 학습시킬 수 있다며 한껏 기대에 부풀었습니다. 헨들러는 “전과 달리 이제는 이런 작업에 몇 주, 심지어는 몇 개월씩이나 되는 시간을 쓸 필요가 없습니다.”라며, “전부 그 자리에서 즉시 처리되니까요. 이미 우수한 수준으로 사실적인 얼굴 퍼포먼스를 실시간으로 작업할 수 있을 만큼 속도가 빨라졌습니다. 정말 놀라운 일이죠.”라고 덧붙였습니다.

좀 더 자세한 이야기를 들어보고 싶으신가요? 위에 첨부한 전체 사례 연구(case study) 영상을 시청하신 후, 새로 오픈한 저희 언리얼 엔진의 버추얼 프로덕션 허브에 방문하시면 미디어 프로덕션의 새로운 접근법으로 떠오른 이 기술과 함께 더 많은 콘텐츠를 찾아보실 수 있습니다.