Limitless Flight, JUMP 이미지 제공

JUMP, 세계 최초의 극사실주의 윙슈트 시뮬레이터

아무 사람에게나 가장 갖고 싶은 초능력이 무엇인지 물으면, 하늘을 날 수 있는 능력이라고 대답하는 사람은 분명 무척 많을 겁니다. 페달로 작동하는 비행기부터 로켓 추진 제트팩까지, 역사적으로 용감한 사람들은 온갖 방법을 동원하여 하늘을 정복하려고 시도했습니다.

기계를 사용하지 않고서 인간이 가장 비행에 근접한 경험을 할 수 있는 방법은 윙슈트 베이스 점프(윙슈트 비행)일 것입니다.

이 대단히 위험하고도 기술적으로 어려운 스포츠는 베이스 점프(BASE jumping)의 일종으로, 자유낙하하지 않고 활강할 수 있도록 팔다리 사이에 날개처럼 원단이 대어진 점프슈트를 입고 높은 곳에서 뛰어내리는 것입니다.

장기간의 스카이다이빙 및 베이스 점프 경력이 필요하며 점프 500회당 1건 비율로 사망 사고가 발생하기에, 윙슈트 베이스 점프는 절대다수의 사람에겐 시도조차 할 수 없는 활동입니다. 지금까지는 그랬습니다.
 

세계 최초의 윙슈트 시뮬레이터

산을 따라 활강하는 윙슈트 비행자의 스릴 넘치는 GoPro 영상을 보셨나요? 세계 최초의 극사실적 윙슈트 시뮬레이터인 점프(JUMP)는 거기서 한 단계 더 발전된 경험을 제공합니다.

이 시뮬레이터는 실물 윙슈트와 커스텀 VR 헬멧을 사용하고, 서스펜션, 바람 이펙트, 극사실적 다감각 자극을 조합하여 직접 베이스 점프를 하지 않고도 물리적인 비행에 가장 가까운 경험을 하게 해 줍니다.

점프는 설립자이자 CEO인 제임스 젠센(James Jensen)의 발명품입니다. 젠센은 오랜 기간 근사한 위치 기반 엔터테인먼트 경험을 개발해 왔습니다.

초창기 걷기 가상현실 시뮬레이션 회사 중 하나인 더 보이드(The VOID)를 세운 팀의 일원이었기 때문입니다. 더 보이드는 가정용 구성을 압도하는 최고급 가상현실 및 그래픽 기술을 통해 남녀노소를 스타워즈(Star Wars)와 고스트버스터즈(Ghostbusters)의 세계로 안내했습니다.
고해상도 리얼타임 시뮬레이션에서 언리얼 엔진은 비교가 안 되는 선두 주자죠
- 제임스 젠센, 점프 CEO 겸 설립자
점프에 대한 아이디어는 2016년에 어느 여행길의 모닥불가에서, 젠센이 전문 윙슈트 파일럿인 친구 마셜 밀러(Marshall Miller)와 대화하던 도중 탄생했습니다. 젠센이 걷기 가상현실 시뮬레이션에 대해 이야기하자, 밀러는 자신이 스웨덴에서 했던 윙슈트 베이스 점프의 영상을 보여주었습니다.

젠센은 말합니다. “따라 해 보고 싶다는 이야기가 저절로 나왔습니다. 그러자마자 옆에 있던 아내가 절대로 안 된다더군요. 그날 밤, 현실의 윙슈트 베이스 점프 경험, 낙하산, 착지를 모방하기 위한 시뮬레이터를 냅킨에 스케치했죠.”

젠센은 팀을 꾸리고 2019년에서 2021년까지 프로토타입 시뮬레이터를 만들었습니다. 그리고 유타주 블러프데일에서 본격적인 장치로 구현해 냈습니다. 체험장에는 지난 4개월 동안 5,000명이 넘는 사람이 방문했습니다. 젠센은 말합니다. “저는 스카이다이빙이나 베이스 점프를 해 본 적이 없습니다. 이 경험이 얼마나 진짜 같은지 파악하기 위해선 전문가들의 의견을 듣죠. 실제 느낌의 85% 정도는 된다고 합니다. 100%를 달성하는 것이 목표입니다.”

사실적인 3D 모델을 위한 사진측량 기술

점프 경험에는 여러 최첨단 기술이 융합되어 있습니다. 비주얼부터 살펴봅시다. 점프는 세계에서 손꼽히는 베이스 점프 명소들을 고도의 디테일로 재현한 3D 랜드스케이프로 비행자를 데려갑니다. 그중에는 악명 높은 노치 피크(Notch Peak)도 있습니다.

이를 위해 점프 팀은 커스텀 헬리콥터 릭에 최고급 카메라를 설치하여 이틀 동안 수천 장의 초고해상도 랜드스케이프 이미지를 캡처했습니다.
Limitless Flight, JUMP 이미지 제공
그리고 이러한 초고해상도 이미지를 리얼리티캡처 최신 버전으로 처리했습니다. 리얼리티캡처는 이미지 및 레이저 스캔 세트로부터 극사실적 3D 모델을 만들 수 있는 최신 사진측량 툴입니다.
Limitless Flight, JUMP 이미지 제공
캡처된 5만 8,000장의 이미지를 재구성하는 데는 5대의 슈퍼컴퓨터가 필요했습니다. 또한 팀은 자이로스코프, 관성 측정 유닛(Inertial Measurement Unit, IMU), 기타 센서의 정밀한 정보를 활용하여 고정밀 커스텀 비행 로그를 만들었습니다.

그 결과 10제곱마일에 걸쳐 80억 개가 넘는 폴리곤이 들어간 놀랍도록 디테일한 환경 디지털 모델이 만들어졌습니다.

다음 단계는 이 막대한 데이터 세트를 언리얼 엔진 5로 가져오는 것이었습니다. 젠센은 말합니다. “처음에는 리얼리티캡처 팀의 도움을 받았지만, 결국에는 이 방대한 데이터 세트를 분할해서 적절한 텍스처와 머티리얼을 할당하는 새 툴을 저희가 개발했죠.”
 
Limitless Flight, JUMP 이미지 제공

팀은 UE5의 가상화된 마이크로폴리곤 지오메트리 시스템인 나나이트를 사용하여 폴리곤이 수백만 개인 메시의 임포트와 리플리케이션을 처리하면서도 눈에 띄는 충실도 손실은 전혀 없이 리얼타임 프레임 레이트를 유지했습니다.

극사실적인 라이팅과 섀도를 구현하는 데는 언리얼 엔진 5의 완전 다이내믹 글로벌 일루미네이션 시스템인 루멘을 사용했습니다. 루멘에서는 직접광이나 지오메트리가 변경되는 즉시 간접광이 조정됩니다.

젠센은 말합니다. “완전한 포토리얼리즘을 추구하기 때문에, 씬의 사실감을 높이기 위해 나나이트와 루멘을 아주 많이 활용했습니다. 저희 데이터세트는 80억 폴리곤으로, 현존하는 나나이트 데이터세트 중 가장 규모가 큽니다. 700개가 넘는 부분으로 나뉘고, 각 부분에 16,000개의 텍스처가 있습니다.”

젠센은 점프 경험을 제작하는 툴로 언리얼 엔진을 선택한 이유가 이런 기능 때문이라고 설명합니다. 젠센은 말합니다. “고해상도 리얼타임 시뮬레이션에서 언리얼 엔진은 비교가 안 되는 선두 주자입니다.”
“비디오 프로덕션을 할 때는 며칠, 몇 주, 몇 달까지도 걸리던 렌더링이 이제 실시간으로 진행된다니 믿기지 않을 정도입니다. 폴리곤 수가 항상 병목현상을 유발했는데, 루멘의 글로벌 일루미네이션이 리얼타임이란 건 그야말로 굉장하죠.”

점프의 가상 환경은 퀵셀 메가스캔에 있는 사실적인 관목, 나무, 풀, 기타 오브젝트로 채웠습니다. 언리얼 엔진에 포함된 메가스캔은 3D 스캔된 포토리얼하고 타일링 가능한 서피스, 텍스처, 식생, 기타 고퀄리티 CG 에셋이 가득한 3D 스캔 라이브러리입니다.

또한 점프 팀은 현실 세계와 디지털 월드의 환경설정과 피직스를 모두 처리하는 자체 피직스 엔진 FLIGHT를 개발하고, 3D 아트에는 Blender와 Maya를 사용했습니다.

그 결과 정말로 1,200m 높이의 절벽 위에 서 있다고 눈을 속이기에 충분할 만큼 사실적인, 경이로운 가상 월드가 완성됐습니다. 하지만 전문 베이스 점퍼도 죽거나 다칠 위험을 각오하는 것과 달리, 이 경험의 이용자는 언제나 무사히 걸어 나올 수 있습니다.
 
Limitless Flight, JUMP 이미지 제공

햅틱 및 물리 이펙트

하지만 비주얼은 점프의 특별함 중 절반에 불과합니다. 실제로 날고 있는 것처럼 완전히 몰입되는 감각을 자아내도록, 점프에서는 가상현실 헤드셋에서 보이는 광경에 실제 윙슈트, 서스펜션 시스템, 바람 이펙트, 다감각 자극이 결합됩니다.
Limitless Flight, JUMP 이미지 제공
젠센은 말합니다. “현실을 모방하려면 물리 이펙트는 필수입니다. 물리적 감각과 비주얼, 오디오를 동기화하면 가상현실 시뮬레이션의 차원이 달라지죠.”

이 시뮬레이션의 햅틱은 가상 환경의 이벤트로 트리거됩니다. 젠센은 설명합니다. “윙슈트 베이스 점프를 경험하는 순간만을 위해 언리얼 엔진 커스텀 코드를 작성했습니다. 냄새, 풍속, 햅틱 스테이지 이펙트, 사운드 이펙트, 물리 오브젝트의 신호를 보내죠.”
Limitless Flight, JUMP 이미지 제공
이런 최첨단 기술은 베이스 점프를 정확하게 시뮬레이션할 수단을 제공합니다. 그런데 베이스 점프를 직접 하지 않는 사람이 점프가 어떤 느낌이어야 하는지 어떻게 알 수 있을까요? 전문가의 경험을 빌리면 됩니다.

젠센은 점프의 개발에 관해 여러 전문가의 자문을 받았습니다. 그중 한 명이 앞서 등장한 마셜 밀러입니다. 그의 좋은 친구이자 전문 윙슈트 파일럿인 밀러는 1만 번이 넘는 점프를 경험한 베테랑입니다. 또 다른 전문 윙슈트 파일럿인 하르트만 리흐터(Hartman Richter)는 재능 있는 프로그래머이기도 해서, 실제 윙슈트의 다이내믹스를 모방하는 플라이트(FLIGHT) 서버 소프트웨어 피직스 엔진을 작성했습니다.

이들의 도움으로 팀은 진정한 현장감을 주는 디테일을 구현해낼 수 있었습니다. 예를 들어, 이 경험의 윙슈트에는 압축 공기가 충전되어 있습니다. 절벽을 박차고 뛰어내리면 몇 초 안에 윙슈트가 부풀어 오르고, 비행 속도가 빨라질수록 팬이 가속하며 바람이 더 빠르게 불어옵니다. 이 모든 요소가 경험에 사실감을 더해 줍니다.

메타버스로 날아오르다

점프를 개발하던 젠센은 비행자들의 반응을 지켜보면서도 놀라운 아이디어 한 가지를 떠올렸습니다. 젠센은 말합니다. “프로토타입을 시연할 때, 참여자들이 서로서로 구경하는 모습을 지켜봤습니다. 앞 사람처럼 하고 싶다며 경쟁하는 사람들이 나오기 시작했죠.”

젠센은 이 경험이 마치 친구들과 스노보드를 타며 누가 먼저 산에서 내려가나 겨루는 시합과도 비슷하다는 점을 깨달았습니다. 그래서 팀은 e-스포츠 식의 대회를 구상하게 되었습니다. 젠센은 말합니다. “아직은 라이브 방송을 하고 있지 않지만, 저희 모든 지점에서 윙슈트 레이싱을 펼치며 Twitch로 스트리밍할 계획이 있습니다.”

또한 팀은 여러 지점의 비행자가 가상 환경에서 만나 함께 점프하는 멀티플레이어 경험도 개발하고 있습니다. 페이셜 스캔 기술로 사실적인 사용자 아바타를 만들고, 이 아바타를 경험에 구현하여 개인화된 GoPro 스타일 비디오를 제공할 계획도 세우고 있습니다.

현재의 점프는 위치 기반 경험입니다. 젠센은 앞으로 여러 곳의 체험장을 열 계획이라고 합니다. 그러나 미래에는 전 세계의 침실과 거실에서도 작동하는 시스템 버전도 나올지 모른다니 기대할 만합니다.

젠센은 말합니다. “점프의 시뮬레이터와 기술을 메타버스에 도입하면 진정하고 완전한 모빌리티의 토대가 됩니다. 몇 년 동안 위치 기반 엔터테인먼트를 거치다 보면, 결국 완벽한 가정용 가상현실 모빌리티 제품을 만들게 되겠죠.”
Limitless Flight, JUMP 이미지 제공
그렇게 되면 〈레디 플레이어 원〉의 웨이드 와츠(Wade Watts)처럼 몰입감 있는 최첨단 릭을 경험하고, 메타버스의 완전한 잠재력을 실현하는 것도 그다지 먼 미래의 일은 아닐 수도 있습니다.

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.