리얼타임 그래픽 인터랙티비티 부문에서 최우수상을 수상한 카이트 & 라이트닝은 풍부한 표현력의 실시간 렌더링 CG 캐릭터들이 움직이는 베빌론(Bebylon) 라이브 퍼포먼스를 통해, 시중에 나와 있는 기술을 기발하게 조합하는 것만으로도 창의력을 발휘하여 놀라운 결과물을 만들 수 있다는 것을 보여줬습니다. 여전히 직원은 총 네 명뿐이지만, 카이트 & 라이트닝은 2012년에 단출하게 시작한 이래로 기나긴 여정을 거쳐온 업체입니다. 코리 스트라스버거(Cory Strassburger)는 "카이트 & 라이트닝이라는 회사는 제 친구 이크리마 엘핫산(Ikrima Elhassan)이 자신의 아이패드로 돌린 증강현실에서 만든 춤추는 곰인형에서부터 시작되었다고 볼 수 있습니다."라고 밝힙니다. 그는 이후 이크리마와 함께 카이트&라이트닝을 공동설립했습니다. "난생처음으로 본 AR에 너무 들뜬 나머지 정신이 아득했었죠."
이후 둘은 함께 AR 제작을 시작했고, 2013년 초 카이트 & 라이트닝을 설립했습니다. 이들은 당시로서는 생소했던 AR을 LA에 있는 거의 모든 스튜디오에 홍보하기 시작했습니다. 그런 노력을 계속하던 중, 하루는 이크리마가 킥스타터(Kickstarter)에서 갓 나온 오큘러스(Oculus) DK1을 들고 회사에 나왔습니다. 그것이 팀에게는 전환점이 되었습니다. "20분 남짓한 시간만에 AR을 내치고 VR로 갈아타게 됐으니까요!" 라고 코리는 웃으며 말했습니다.
초창기에 실험적인 VR 작업물들을 몇 개 제작한 후 NBC의 '더 보이스(The Voice)'나, 영화 인서전트(Insurgent)와 연관된 라이언스게이트(Lionsgate)의 '무너진 현실(Shatter Reality)'을 비롯한 본격적인 작업의뢰를 받기 시작하고 나서야, 이들은 비로소 현재 진행 중인 프로젝트에 착수하기 시작했습니다. 그건 바로 다인용 대난투 VR 게임, '베빌론 배틀로얄'입니다.
이 베빌론이 영감의 원천이 되어 리얼타임 라이브! 시연으로 이어지게 된 것입니다 "어떻게 해서든지 저희 게임에 등장하는, 죽지 않는 이 베이비 캐릭터들에 생명을 불어넣고 싶었는데, 그러려면 무엇보다도 페이셜 캡처가 큰 난관이었습니다."라고 코리가 설명했습니다. "그때 저는 애플(Apple)에서 페이스시프트(Faceshift)라는 회사를 인수했다는 사실을 알고 있었습니다. 페이스시프트는 이미 당시부터 데스크탑용으로 페이스 캡처를 대중적으로 보급한 회사였죠. 그러다 보니 과연 그 페이스 캡처 기술이 아이폰X와 ARKit에서 얼마나 잘 구현되는지 궁금해졌습니다. 처음 시험 삼아 해본 결과, 애플이 아이폰X에 집어넣은 페이스 캡처기술에는 전체 핵심이 잘 축약되어 있었습니다. 정말 굉장히 흥미진진했습니다."라고 코리가 덧붙였습니다.
일요일마다 코리는 홀로 이 문제에 파고들며 프로젝트를 시작했습니다. 회사는 이미 게임 개발 때문에 주중에 숨 돌릴 틈 없이 바빴기 때문이었습니다. 카이트&라이트닝은 당시 바디 모션 캡처가 가능한 Xsens MVN 슈트를 구비하고 있었고, 여기에 아이폰X과 "매우 불편한 45달러짜리 페인트볼용 헬멧"을 더하니, 코리는 결국 리얼타임 라이브! 대회 예선 참가에 필요한 모든 준비물을 갖추게 된 셈이었습니다.
하지만, 이 이야기에서 중요한 부분이 아직 남아있습니다. 코리는 "예선 응모작은 비실시간으로 실험해본 일련의 결과물입니다. 마야로 페이스 캡처 결과를 조금 매만지고, 거기에 Xsens 슈트로 얻은 바디 캡처를 붙여서 오프라인으로 렌더링했던 겁니다."라고 전하며, "리얼타임 라이브! 예선을 통과하고 나서야 언리얼 엔진으로 실시간 작업을 하게 됐죠."라고 덧붙였습니다.
코리는 이미 예전부터 언리얼로 모션 캡처 구성을 작업하고 싶은 마음이 굴뚝 같았지만, 리얼타임 라이브!가 예선을 통과하면서 이제는 빠르게 행동에 옮기게 되었습니다. 코리는 Xsens의 크리스 아담슨(Chris Adamson) 덕분에 예선에 응모하게 되었다며 공로를 돌렸습니다. "크리스가 제안한 것이 천만다행이었습니다. 그 덕에 우리가 처음 생각했던 것보다 결과물이 훨씬 좋았고, (실시간으로도 이 정도니) 앞으로 시간도 엄청 절약되겠죠!"
퍼즐의 마지막 조각을 완성한 건 언리얼 엔진 플러그인이었습니다. IKINEMA 라이브액션이 Xsens 슈트로부터 스트리밍 받은 바디 데이터를 베이비 캐릭터로 리타깃팅해주었습니다. 물론 발 미끄러짐 및 몸통 관통현상 방지 기능이 적용되어 있습니다. 코리는 "이런 기능은 바디 데이터를 캐릭터와 가상 환경에 변환해 넣을 때 핵심적이죠. 일반적으로는 후처리 프로세스를 거칠 작업이 실시간으로 진행되는 셈입니다."라며 열광했습니다.
플러인의 호스트 기능은 언리얼 엔진이 본 프로젝트에서 수행한 여러 역할 중 하나일 뿐, 그중 가장 두각을 드러낸 것은 실시간으로 캡처한 모든 데이터가 실시간으로 아름답게 렌더링 되는 기능입니다.
"지금 와서 보면 웃긴 게, 사실 힘든 부분은 에픽게임즈가 다 하고 저는 그저 숟가락만 얹은 셈이죠."라며 코리가 생각을 밝혔습니다. "예를 들면, 에픽게임즈가 라이브 링크 기술을 ARKit에 통합시킨 덕분에 IP 주소를 입력하는 것만큼 쉽게 아이폰X 데이터를 엔진으로 스트리밍했습니다. 게다가 에픽게임즈가 포스팅한 페이스 AR 샘플 프로젝트 덕분에(페이스 캘리브레이션, 데이터 스무딩 등과 같이 귀중한 시간을 절약할 수 있는 많은 작업이 포함되었죠), 단순히 카이트 남자 캐릭터를 제 베이비 캐릭터로 대체하고, 거기 포함된 배경으로 iOS 앱을 만들기만 하면, 짜잔, 아이폰X에서 완벽하게 스트리밍되는 겁니다."
코리는 또한 에픽게임즈의 최신 디지털 휴먼, 즉 마이크 세이무어(Mike Seymour)가 등장한 미트 마이크 샘플 프로젝트도 다운받았습니다. "거기서 스킨 셰이더, 눈, 멋들어진 번개 리그(Rig)를 따오고 보니, 짠! 끝내주는 베이비들이 실시간 렌더링되어 눈앞에 펼쳐진 거죠."라고 전했다.
장점은 이걸로 끝이 아닙니다. 코리는 "언리얼에 이런 구성이 있어서 제일 좋은 점은 바로 시퀀스 레코더를 사용할 수 있는 겁니다. 버튼 한 번 클릭하면 퍼포먼스 전체와 음향을 녹화/녹음할 수 있으니까요."라고 말하며 다음과 같이 덧붙였습니다. "퍼포먼스를 캡처하고 바로 게임에 집어넣는 작업이 정말 이보다 쉬울 수가 없죠!"
그렇다면, 이처럼 새로운 제작과정으로 무장한 카이트 & 라이트닝에서는 앞으로 어떤 미래가 펼쳐질까요? "이 구성을 신나게 활용해 볼 계획입니다. 또 실제 사용자들이 본 구성을 어떤 식으로 활용해 베이빌론 캐릭터들에 생명을 불어넣을지 기대되네요."라며 코리는 들뜬 기색을 감추지 못했습니다. "가상 프로덕션 아이디어를 시험해 볼 생각으로 베이빌론 캐릭터들을 트위치에서 실시간 방송할 계획입니다. 아마 AR과 통합해서 진행할 것 같고, 산타모니카에 있는 사무실에서 생방송으로 중계하게 될 겁니다."라고 덧붙였습니다.
하지만, 코리는 이보다 더 큰 가능성을 엿보고 있습니다. 그는 "이렇게 연계한 기술이 다른 여러 기회를 낳게 될 것이라 봅니다. 즉 단순이 게임이나 프리비즈 캐리터를 살아움직이게 하는 데에 그치지 않고 가상 프로덕션이나 라이브 캐릭터 퍼포먼스의 가상 스트리밍에도 많은 기회를 낳게 될 겁니다."라고 설명했습니다.
"오늘날에는 여러 명의 사용자를 언리얼 엔진에 스트리밍 해서 데이터를 캡처하거나 최종 렌더를 생방송하는 일이 대단히 수월해졌습니다. 여기에 다수의 가상 영화 촬영기사와 멋진 비디오 세트장을 곁들이면, 집안에 가상 프로덕션 구성을 갖추게 되는 겁니다. 짐 카메론(Jim Cameron) 감독과 웨타(Weta) 디지털사가 영화 아바타를 만들 때 제작한 것과 같은 맥락인 거죠! 정말 엄청납니다. 그만큼 기술이 덜 거추장스러워지고, 운용하기 위해 수십 명 되는 인력이랑 씨름할 필요가 없어졌다는 거니, 덕분에 엄청난 시간 압박 없이 훌륭한 컨텐츠 제작에 더 집중할 수 있는 거니까요!"
코리는 여전히 리얼타임 라이브! 우승의 여운을 만끽하고 있지만, 처음에는 통 믿기지가 않아 고생했다고 합니다. "솔직히, 우승하게 되니 어안이 벙벙했습니다... 무대에서 내려오고, 그 이후 절차도 다 마무리되고 나서야 비로소 참가상이 아닌 진짜 상을 받은 것이라는 게 실감 났죠! 무대에 올라온 실시간 프로젝트들이 쟁쟁했는데, 그 와중에 우승을 거머쥐었다는 건 엄청난 영광입니다." 코리가 말했다.
"매일 카이트&라이트닝에서 매일 함께 일하며 늘 영감을 주는 동료들과 함께, 이 수고로운 작업을 직접 도와주시는 에픽게임즈, Xsens, IKINEMA 분들과 이 영광을 나누며 감사를 표하고 싶습니다. 특히, 에픽게임즈는 작업 및 커뮤니티에 대한 철학과 접근 방식에 감사를 표합니다. 이렇게나 훌륭한 고품질 결과물을 받는 입장에 서게 되니 굉장히 기분이 좋네요!"
상을 거머쥘 수 있는 실시간 경험을 직접 만들어보고 싶으신가요? 오늘 언리얼 엔진 4.20을 다운로드해서 살펴보세요.