2019년 4월 3일
버추얼 프로덕션: The Future Group, XR의 한계에 도전하다
퓨처 그룹에서 선임 크리에이티브 책임자를 담당하고 있는 외슈타인 라슨(Øystein Larsen)은 이 팟캐스트에서 라이브 크로스 리얼리티 퍼포먼스를 제작하는 데 따르는 어려움과 함께 자신과 팀이 한계를 뛰어넘어 불가능을 가능하게 만든 기술의 매력을 설명했습니다.
크로스 리얼리티(Cross Reality, XR)는 가상현실, 혼합현실과 증강현실을 아우릅니다. 퓨처 그룹은 이 모든 분야에 발을 담그고 있었기 때문에 로스트 인 타임(Lost in Time), 웨더 채널(The Weather Channel)의 환경 위험 시리즈, 2018년 리그 오브 레전드 월드 챔피언십 개회식(2018 League of Legends World Championship opening ceremony)의 게임 캐릭터가 무대에서 보인 퍼포먼스 등 놀라운 프로젝트 작업을 오갈 수 있었습니다.
퓨처 그룹은 2017년 노르웨이에서 방영된 로스트 인 타임 시리즈를 통해 처음으로 XR을 경험했습니다. 이 쇼에서 참가자들은 쥐라기 시대, 1920년대의 뉴욕, 빙하기 등 동떨어진 다양한 가상의 시대에서 솜씨를 뽐냈습니다. 로스트 인 타임은 이런 환경에서 도전 과제를 수행하는 참가자들의 모습을 그린 스크린 스튜디오에서 촬영해 합성했습니다.
참가자들은 실시간으로 환경을 탐색하고 상호 작용할 수 있었지만 각 에피소드는 퓨처 그룹이 그래픽의 품질을 향상한 몇 개월 후에나 방영되었습니다. "쇼를 공개하기 전에 조금 더 공을 들이고 싶었습니다."라고 라슨은 말합니다. "사실 모든 이미지는 언리얼 엔진으로 작업하는 경우 더 좋은 품질을 얻을 수 있었습니다. 저희는 실제로 모든 요소를 합성했던 3개의 플레임 기기를 통과한 4K 원시 리니어 파일을 렌더링했습니다. 결과물 자체는 상당히 전통적이지만 4K에서 분당 1000프레임을 렌더링할 수 있는 방식으로 작업했죠."
로스트 인 타임은 전례 없는 몰입형 플레이와 방송 중 시청자가 모바일 기기로 참여할 수 있는 게임 요소로 전 세계의 관심을 모았습니다. 그러나 그 작업은 이미 1년 반이나 지난 일이었고 퓨처 그룹은 크로스 리얼리티 방송의 한계를 더 끌어올리기로 결심했습니다.
2018년 퓨처 그룹은 웨더 채널을 위해 발표자 뒤에 실시간 영상을 투사하며 전면에는 혼합 현실을 띄워 조합한 생방송 시리즈를 제작했습니다. TWC 시리즈에서는 쓰러지는 전신주, 충돌하는 차량, 번개, 화재, 홍수 등의 기상 위험에 대한 정보와 팝업 표지 같은 라이브 3D 요소가 등장했습니다. 이런 유형의 영상을 만들 때 퓨처 그룹에게 어려웠던 점은 컴퓨팅 부담을 줄이며 기상 현상을 보여주는 것이었습니다. 라슨은 말합니다. "저희는 항상 엔진 내 기술을 사용해 동일한 것을 표현하는 방법을 찾습니다. 저희 팀에는 20년간 게임 분야에 종사해 실시간 관련 기술이나 요령이 있는 게임 아티스트들이 몇 명 있습니다.”
K-Pop과 크로스 리얼리티
퓨처 그룹의 가장 멋진 프로젝트 중 하나는 한국 인천에서 개최된 라이엇 게임즈(Riot Games)의 2018년 리그 오브 레전드 월드 챔피언십의 개회식입니다. 가수와 댄서들이 수천 명의 관객 앞에서 라이브로 멋진 공연을 선보이는 동안 거대한 무대 모니터에서는 게임 내 가상 케이팝(K-Pop) 그룹인 K/DA의 이야기를 선보였습니다. 이 영상은 수많은 관중들 외에도 9,000만 명의 온라인 시청자가 감상했습니다. 이 그룹이 무대에서 히트 곡인 "팝/스타(Pop/Stars)"를 공연하는 동안 라이브 카메라가 이동하며 리그 오브 레전드의 캐릭터들이 라이브 공연자와 완벽하게 싱크를 맞춰 노래하고 춤추는 모습을 보여 주었습니다. 또한, 게임 캐릭터들은 날아다니거나 불을 던지는 등 자신들의 독특한 스킨과 전반적인 능력을 선보였습니다.
이 환상적인 영상의 중심에는 캐릭터의 현실적인 그림자와 매끄러운 무대에 반사된 캐릭터의 모습이 있었는데 이는 이동 카메라의 추적 데이터를 바탕으로 실시간 렌더링 된 것이었습니다. 라슨은 이 공연 중 언리얼 엔진이 초당 3,000만 개의 폴리곤을 렌더링했다고 추정합니다. 팀은 컴퓨팅 부담이 적은 스크린 스페이스 리플렉션에 플레이너 리플렉션을 사용하기로 결정했습니다. "그게 훨씬 더 많은 작업을 해내기 때문이죠."
파이프라인을 통해 입수한 라이브 카메라 추적 데이터 및 영상, 업데이트된 카메라 뷰, 언리얼 엔진의 렌더링, 무대 위 스크린의 영상 등 모든 데이터를 통해 초당 59.94프레임이라는 놀라운 속도로 렌더링을 마치며 라이브 공연보다 고작 6프레임 늦은 속도로 놀라운 리얼리티 공연을 선보일 수 있었습니다.
라슨은 이 모든 것이 실시간 기술로 놀라운 쇼를 만드는 또 다른 방법일 뿐 "상당히 전통적"이며 대단한 일이 아니라고 말합니다. 디지털 도메인(Digital Domain)의 FACS 장비와 해당 그룹의 뮤직 비디오 시퀀스를 입수한 팀은 고작 5일 만에 한국 현장에서 모든 데이터를 통합할 수 있었습니다.
원래 AR이 등장하는 순간에는 조명 변화를 제한할 생각이었지만 라슨은 실험해 보고 싶었습니다. "언제나 한계를 조금 더 높여 시도해 보는 것이 좋습니다."라고 라슨은 말합니다. "저는 늘 다음 단계를 시도하려고 노력하고 있습니다."
크로스 리얼리티 게임의 한계를 끌어올리다
이런 상징적인 크로스 리얼리티 경험을 만들어 내며 퓨처 그룹은 언리얼 엔진에서 실행되는 커스텀 툴도 개발했습니다. 이제 이 툴은 픽소톱(Pixotope)이라는 이름으로 공개될 예정입니다. 픽소톱은 영화와 같은 고품질의 크로스 리얼리티 콘텐츠를 간편하게 만들 수 있도록 제작된 툴입니다. 언리얼 엔진과 픽소톱를 사용하면 디자이너들은 터레인과 폴리지를 활용한 가상 세트 및 증강 현실 콘텐츠를 빠르게 생산할 수 있으며, 파티클 시스템을 활용하고 렌즈 왜곡이나 피사계 심도와 같은 카메라 및 렌즈 속성을 시뮬레이션할 수 있습니다.
퓨처 그룹 내부의 규모도 확장하여 미국에 새 지사를 세우고 더 많은 프로젝트를 진행할 예정입니다. 라슨은 기술의 한계를 계속 극복해 나가면서도 크로스 리얼리티 경험을 위한 툴의 발전은 향상된 색 보정, 더 나은 그림자 표현 등 시각적 개선을 향해야 한다는 것을 잊지 않습니다. "실시간 엔진 사용 경험이 있다면 분명 장점이 되곘죠. 하지만 저희는 경험 그 이상의 예술을 창조합니다."
자신만의 XR 경험을 만들고 싶으신가요? 언리얼 엔진을 다운받아 새로운 분야로 첫걸음을 내디뎌 보세요.