해당 팟캐스트 방송 전체를 들어보실 분은 아래의 링크를 참고해 주시기 바랍니다. 버추얼 프로덕션 허브에 방문하시면 더 많은 팟캐스트 방송, 비디오, 기사, 전망을 살펴보실 수 있습니다.
아마 여러분은 이미 쓰리레터럴의 실력을 직접 보신 적이 있을 겁니다. 쓰리레터럴의 페이셜 캡처 및 애니메이션 기술은 수많은 AAA급 게임에서 사용되었으며, 그중 몇 가지만 예시로 들자면 마블(Marvel)사의 스파이더맨(Spider-Man)이나 액티비전(Activision)의 콜 오브 듀티(Call of Duty), 록스타게임즈(Rockstar Games)의 GTA(Grand Theft Auto) 및 레드 데드 리뎀션(Red Dead Redemption)을 꼽을 수 있습니다. 에픽게임즈와 힘을 합친 쓰리레터럴은 실시간 디지털 휴먼 작업을 진행해왔습니다. 사이렌(Siren), 헬블레이드(Hellblade), 그리고 앤디 서키스(Andy Serkis)가 연기한 오시리스 블랙(Osiris Black) 등의 프로젝트가 바로 그 예죠.
마스틸로비치는 1989년 제임스 카메론(James Cameron) 감독의 영화 '심연(The Abyss)'을 계기로 페이셜 애니메이션에 빠져들게 되었습니다. 이 영화에서 카메론 감독은 영화 역사상 최초로 물로만 구성된 얼굴을 CG로 만드는 획기적인 시도를 선보였습니다.마스틸로비치는 “처음 본 순간 완전히 매료되어 버렸습니다.”라고 감회에 젖어 말했습니다. “대체 어떻게 만든 건지 꼭 알아내고 싶더라고요.”
그로부터 15년 후, 마스틸로비치는 고향인 세르비아에서 쓰리레터럴을 창립했습니다. 이로써 업계의 페이셜 모션 캡처 및 퍼포먼스 방식은 송두리째 바뀌게 됩니다.
미세표정에서 트루 퍼포먼스까지
쓰리레터럴의 작업은 안면 움직임 부호화 시스템(Facial Action Coding System; FACS)을 기반으로 합니다. 이는 안면 근육 움직임을 분류하는 시스템으로, 폴 에크만(Paul Ekman) 박사가 1960년대에 개발했습니다. 에크만 박사는 현대화의 영향을 받지 않은 문명을 연구한 결과, 모든 인류는 감정을 표출하는 데에 같은 표정을 사용한다는 사실을 밝혀냈습니다.
이어서 에크만 박사는 연구를 발전시켜 미세표정학을 수립했습니다. 미세표정이란 전 세계 모든 사람에게 공통으로 발견되는 안면 근육 움직임을 지칭합니다. “전 인류에게 통용되는 비 구어적인 보편언어가 있다는 사실은 정말 놀랍죠.”라고 말하는 마스틸로비치의 얼굴에는 즐거운 기색이 역력했습니다.
이미 VFX 업계에서는 오래전부터 FACS를 활용해서 키프레임된 페이셜 애니메이션을 수동으로 조정해왔지만, 쓰리레터럴은 여기서 한 걸음 더 나아갑니다. 쓰리레터럴만의 비결 중 하나는 바로 ‘릭 로직’입니다. 이로써 전통적인 페이셜 캡처 시스템의 한계를 뛰어넘어 연기자의 라이브 퍼포먼스에서 핵심을 그대로 가져오면서 디지털 캐릭터에 사실적으로 타겟팅할 수 있습니다. 연기자가 카메라 앞에서 라이브 퍼포먼스를 펼치면, 쓰리레터럴의 시스템은 해당 연기자의 얼굴 움직임을 실시간으로 FACS로 통역하여 그것에 맞게 타깃 페이셜 릭에 지시를 내리게 됩니다.사람의 퍼포먼스를 완전히 다른 얼굴 구조로 전환해야 하므로, 쓰리레터럴은 디지털 DNA라는 개념을 도입했습니다. 마스틸로비치는 “우리가 어떤 얼굴에서 보게 되는 치수 세트를 일컬어 DNA라 부르고 있습니다.”라고 설명합니다. “DNA 파일에는 한 개인에게 고유한 표준 모델의 오프셋이 들어있습니다. 해당 DNA 파일은 지오메트릭 데이터를 시맨틱 데이터로 번역하는 데에 핵심이 됩니다.”
쓰리레터럴은 최근에 오시리스 블랙 프로젝트에서 본 기술을 시연한 바 있습니다. 해당 영상에서 앤디 서키스가 셰익스피어 극작품의 대사를 읊으면 실시간으로 외계인 캐릭터로 타겟팅되는 모습을 볼 수 있는데, 바로 이 점에서 해당 버추얼 프로덕션 기술이 가진 위력이 아주 잘 드러나 있습니다. 서키스의 얼굴 특징이 타깃 캐릭터의 얼굴과 상당히 다름에도 불구하고 퍼포먼스 원본의 사실성, 감정, 힘을 그대로 느낄 수 있기 때문입니다. 마스틸로비치는 “연기를 비구어적인 보편 언어로 통역해주는 기술인 셈입니다.”라고 설명합니다. “간단히 말씀드리자면 서키스의 연기를 FACS 코드로 전환한 후 외계인에 로드한 거죠.”
이렇게 나온 결과물은 업계에 신선한 충격을 안겨주었으며, 버추얼 프로덕션에서 실시간 페이셜 퍼포먼스 캡처의 새로운 장을 열었습니다.
릭을 뛰어넘다: 에픽게임즈와의 미래
쓰리레터럴은 2019년 1월, 에픽게임즈에 합류했습니다. 마스틸로비치는 CG로 실제 사람과 같은 휴먼 퍼포먼스를 구현하기 위해 평생을 바쳐온 만큼 이번 인수를 통해 향후 쓰리레터럴의 R&D가 확장되고, 또한 특히 대중적으로 배포할 수 있는 툴을 개발할 수 있게 되기를 바란다고 밝혔습니다.
페이셜 캡처와 애니메이션 수요가 너무나 증가한 탓에, 쓰리레터럴은 작년 한 해 동안 의뢰가 들어왔던 프로젝트의 95%을 거절할 수밖에 없었다고 마스틸로비치가 아쉬운 마음을 내비쳤습니다. 그러면서 마스틸로비치는 앞으로 누구나 다 사용할 수 있는 툴이 제공되면 어느 누구도 이처럼 빈손으로 돌아가는 안타까운 일이 없게 될 것이라며 낙관적인 전망을 이야기했습니다.
마스틸로비치는 언리얼 엔진이 단순히 게임을 위한 툴 아닌, 그 이상이라고 말합니다. 머신러닝, 커뮤니케이션, 자기 계발 소셜 리서치 등 앞으로 그 활용범위가 무궁무진하기 때문이죠. 당장 영화제작의 경우만 하더라도, 단순한 페이셜 캡처를 넘어서는 버추얼 프로덕션에서 활용할 수 있다고 합니다. 예를 들어 연기자의 퍼포먼스 일부를 실시간으로 리믹스해서 한 씬의 감정을 다양하게 시도해볼 수 있습니다. 마스틸로비치는 “활용 방법은 일일이 다 셀 수조차 없을 정도입니다.”라며, “이 기술 덕분에 새로운 기회가 열리고 있습니다. 심지어 사용자 중에는 저희가 상상조차 하지 못했던 방식으로 해당 기술을 활용하며 새로운 활용 방법을 보여주는 분도 계십니다.”라고 설명했습니다.
마스틸로비치가 출연한 해당 팟캐스트 방송은 비주얼 디스럽터 시리즈에서 찾아보실 수 있습니다. 버추얼 프로덕션 페이지에 방문하셔서 버추얼 프로덕션에 관한 양질의 팟캐스트 방송, 비디오, 기사를 더 많이 만나보세요!