아이 투 아이(Eye to Eye) VR 경험에서 참가자는 적극적이고 사실적인 CG 토끼와 대면하여 대화를 나눕니다. 이 동물의 표정과 대사는 연기자가 실시간으로 전달해 참가자와의 진정한 대화가 가능합니다.
마음을 사로잡는 표현과 감정
아이 투 아이 VR 경험의 가장 인상 깊은 점은 CG 동물이 사람과 같이 감정을 표현해내는데 성공했던 방식을 적용한 부분입니다. 페이스웨어 라이브(FaceWare Live)를 사용한 고급 페이셜 트래킹과, 노이탐(Noitom)의 퍼셉션 뉴런(Perception Neuron) 수트를 통한 바디 트래킹은 연기자의 모든 미묘한 감정 표현을 토끼에게 전달합니다. 이는 리얼타임 렌더링의 뛰어난 디테일과 결합되어 감정을 자극하는 매우 특별한 VR 경험을 참가자에게 선사합니다.
최상급 퀄리티 렌더링의 높은 요구 사양과 가상현실에 필요한 프레임율은 디모던 팀이 언리얼 엔진을 선택한 이유 중에 하나입니다.
테크니컬 디렉터 플로리안 뵈게러(Florian Wögerer)는 “언리얼 덕분에 우리는 끊김 없이 자연스러운 90fps를 유지하면서도 가장 높은 수준의 비주얼 충실도를 달성할 수 있었습니다."라고 말했습니다.
최고의 퍼포먼스를 끌어내기 위해 팀은 두 대의 컴퓨터로 이 경험을 실행했습니다. 한 대는 모션 트래킹에 활용하고, NVIDIA GTX1080Ti 카드 두 개와 교차 프레임 렌더링(Alternate Frame Rendering) 방식을 사용하는 다른 한 대는 실제 렌더링에 활용한 것입니다. 트래킹 데이터는 스케일러블 링크 인터페이스(Scalable Link Interface) 브릿지를 갖춘 크로스 링크 LAN 케이블을 통해 렌더링 머신으로 보냅니다.
토끼 캐릭터를 모델링하고 텍스처링하기 위해 개발팀은 Maya, ZBrush, 3ds Max, TopoGun, Mari, Substance Painter, Photoshop, Knald 등 많은 패키지를 활용했습니다. 토끼털은 페레그린 랩스(Peregrine Labs)의 Yeti로 다듬었고, NVIDIA HairWorks를 사용해 언리얼 엔진에서 실시간 렌더링을 할 준비를 마쳤습니다. 이 캐릭터를 완성하는 데에는 500시간 정도 걸렸습니다.
이 팀은 HairWorks를 다른 NVIDIA API인 VRWorks와 통합하기 위해 무료 공개된 소스 코드를 활용해 커스텀 빌드한 언리얼 엔진을 제작했습니다.
“모든 코드에 접근이 가능하다는 것은 말할 나위 없이 언리얼 엔진의 주요 장점 가운데 하나입니다.”라며 디모던의 수석 크리에이티브 엔지니어인 크리스토퍼 바움바하(Christopher Baumbach)는 말했습니다. “엔진의 특정 부분을 조정하고 최적화하여 저희가 원하는 퀄리티와 퍼포먼스를 달성할 기회를 제공합니다."
단순한 모델, 그 이상
개발팀은 언리얼 엔진에서 다섯 가지의 상이한 월드를 콘셉트화 해서, 모델링한 뒤 개발했습니다. 원하는 외형을 달성하기 위해 개발팀은 언리얼 엔진의 머티리얼 에디터를 사용했습니다.“머티리얼 에디터를 활용하여 단순한 머티리얼부터 복잡한 머티리얼을 유연하게 제작하는 방식은 우리가 원하는 외형을 만드는 데 필수적인 요소였습니다."라고 리드 3D 아티스트인 대니얼 해리슨(Daniel Harrison)은 말했습니다.
이 경험에서 핵심적인 요소는 함부르크에 위치한 사운드 디자인 스튜디오인 저먼 바안지인(German Wahnsinn)이 제공한 사운드였습니다. 제작 팀은 FMOD를 사운드 엔진으로 사용하고 누엔도(Nuendo)로 사운드를 편집했습니다. 연기자의 목소리는 내장된 이펙트 스택으로 노이즈 제거, 압축 등의 기능을 제공하는 아폴로 트윈(Apollo Twin) 오디오 인터페이스를 통해 흘러나옵니다.
프로젝트 성공에 필요한 퍼포먼스와 퀄리티를 달성하기 위해 이 팀은 여러 기술적인 어려움을 극복했습니다. 최종 결과물을 내기까지 수많은 반복처리를 거쳐 커스텀 하드웨어와 엔진 세팅을 구성했습니다. 언리얼 엔진에서 조금씩 변경할 수 있는 능력은 이 프로세스에 도움이 됐습니다.
“변경할 때마다 매번 풀 빌드를 만들지 않고도 빠르게 반복작업을 할 수 있었기 때문에 저희가 직면한 기술적 문제에 다양한 접근법을 취할 시간을 벌게 되었죠."라고 바움바하는 말했습니다.
이 경험은 베를린에서 열린 리:퍼블리카 2018(re:publica '18) 행사에서 첫선을 보였으며, 이후 여러 축제와 전시회에서도 상영되었습니다. 트럭 안에 설치되어 별다른 공을 들이지 않고도 빠르게 여러 장소로 이동할 수 있었습니다.
엘베강의 깊숙한 세계로 들어가다
아이 투 아이 프로젝트를 마친 뒤 디모던은 언리얼 엔진을 사용해서 함부르크의 영구 설치 작품 디스커버리 독(Discovery Dock)의 중요한 부분을 맡아 제작했습니다. 이 리얼타임 경험은 방문객에게 함부르크의 유명한 엘베강의 물속을 살펴보게 하며, 그곳에 주로 살고 있는 동물들도 보여줍니다.
제작 팀은 뒤몽 미디어 그룹(Dumont Media Group)과 함께 작업하며 초기 조사부터 최종 전시까지 1년이 되지 않는 기간 동안 프로젝트를 수행했습니다. 엘프필하모니(Elbphilharmonie) 공연장 옆 공터에 설치된 이 작품은 혼합현실, 프로젝션 매핑, 리얼타임 데이터를 독특하게 결합한 몰입감 있는 인터랙티브 경험을 선보입니다. 이 프로젝트는 함부르크뿐 아니라 전 세계에서 찾아온 방문객들에게 지금까지 가보지 못했던 그리고 쉽게 잊지 못할 경험을 선사합니다.
잊지 못할 VR 체험을 직접 만들고 싶으신가요? 지금 바로 언리얼 엔진을 다운로드하세요.