2016. 10. 14.

지구 밖으로 나간 언리얼 엔진 - “화성으로의 현장학습” 체험 제작에 얽힌 이야기

저자 Keef Sloan

Framestore(프레임스토어)의 Field Trip To Mars(화성으로의 현장학습) 프로젝트에서 리드 디벨로퍼를 맡은 Ron Fosner(론 포스너)는 정말 전염성이 강력한 웃음을 터뜨리는 사람입니다. 6,400킬로미터 떨어진 곳에서 인터뷰가 이루어지는 와중에도, 론의 세계 속으로 빨려들어가지 않기란 극히 어려운 일이었습니다.

“하하! 예, 물론이죠. 체험 시작 36시간 전까지만 해도 ‘이 프로젝트는 망했어, 절대 해내지 못할거야!’라고 생각하면서 스쿨버스 안에 앉아 있었어요. 버스 안의 의자는 싹 다 빠진데다 필요한 모니터 4대 중에 2대밖에 설치하지 못했고, 서버도 서버 랙에 제대로 설치도 못한 채 버스 뒷쪽에 대충 쌓여있었죠. "라고 론은 말했습니다. "그때 심정이란, 어휴, 이건 진짜 다 말아먹었다고만 생각했어요.”

하지만 딱 12시간이 지난 후 론의 악몽은 구체적인 모양새를 갖추더니, 마침내 가상현실 체험이라는 현실 속의 꿈이 되어 버스를 화성으로의 첫 여행으로 이끌었습니다.

물론 정말로 이 버스가 지구의 대기권을 뚫고 2억 2400만 킬로미터 떨어진 바위투성이 이웃 별로 갔다는 이야기는 아닙니다. 하지만 프레임스토어는 영화 그래비티로 관중들을 지구 저궤도에서 벌어지는 재난 속으로 끌어들이고 아카데미 시상식과 BAFTA(영국 아카데미 시상식)에서 수많은 상을 거머쥔 데다, 마션을 통해 화성의 풍경을 영화 속에 그려낸 명성이 있는 시각효과 제작사입니다. 그러니 화성 여행이란 매우 중요한 과제를 보다 쉽게 접근할 수 있었을 겁니다.

blogAssets%2F2016%2FOctober+2016%2FOctober14_FieldTripToMars_SHOWCASE%2FFieldTripToMars_Pic3-770x421-9e93a0cce3d013243e26bc9c5e4dc36ef315b2a9

2015년의 끝자락에, 프레임스토어는 광고 회사 McCann New York으로부터 우주항공사 록히드 마틴을 위한 프로젝트를 하나 맡지 않겠느냐는 제의를 받게 됩니다. 프레임스토어의 간부들이었던 Alexander Rea, Sue McNamara와 Theo Jones는 팀을 꾸려 정말로 세상을 깜짝 놀래킬만한 프로젝트를 만들 준비를 합니다. 그 아이디어가 뭐였냐구요? 아직 학교에 다니는 학생들을 모아서 가상현실 속의 화성으로 현장학습을 보내주는 것이었죠. 하지만 차이점이 하나 있다면, 이번 가상현실 체험은 바로 스쿨버스 안에서 다 함께 경험을 공유할 것이었습니다. 실제로 버스는 워싱턴 D.C.의 도심을 돌아다닐 뿐이지만, 버스가 그 어떤 세세한 움직임을 보이든 가상현실은 즉각 그 움직임을 감지해 창 밖으로 보이는 화성의 세계에 그대로 반영합니다. 따라서 버스를 타고 있는 체험자들은 자신이 정말로 화성에 있다고 느끼고, 정말로 다른 행성에 와 있다고 믿게 되는 겁니다. 바로 이런 아이디어에서 수많은 과제들이 속출했지만, 제작팀은 이를 모두 극복해내었습니다.

화성으로의 현장학습 제작팀의 시니어 디벨로퍼 Gary Marshall(게리 마셜)은 모션 캡처 및 트래킹 관련 경력이 있는 인물로, 이번 프로젝트에서 스토리를 맡았습니다. “프로젝트 착수 후에 처음으로 한 일은 Arduino 마이크로 컨트롤러를 만들어, GPS와 가속도계에서 정확한 방향 데이터를 얻을 수 있게 하는 거였어요. 언리얼 엔진 내에 작은 버스 메시를 만들고 Arduino 컨트롤러를 활용해 이리저리 회전시켜보았죠. 그때부터 굉장히 빠른 작업이 가능했고, 실제로 노트북을 들고 길거리를 이리저리 돌아다니기도 해봤어요. 등에는 웬 배낭도 메고 수북한 케이블도 들고 있었으니 겉으로 보면 굉장히 수상해보였겠죠. 진짜 경찰들이 괴상한 눈길로 쳐다보기도 했다니까요!”

blogAssets%2F2016%2FOctober+2016%2FOctober14_FieldTripToMars_SHOWCASE%2FFieldTripToMars_Pic6-770x430-360969270a70e80eb5d0330d9fd7883b635450e9

괴상한 눈길 말고도 제작팀이 맞닥뜨린 문제점들은 많았습니다. 그 중에 하나는 해결법 자체가 프로젝트 전체를 뒤흔드는 것이었는데, 바로 현재의 GPS 체계는 개발팀이 필요한만큼 정밀하지가 않았다는 점입니다. 버스의 움직임 하나하나가 언리얼 엔진으로 만들어진 화성의 풍경에 반영되어 변화를 만들어야 했는데, 제작팀은 센티미터 단위의 정밀도가 필요했지만 최신 GPS 기술조차 미터 단위로밖에 반응하지 못했던 것입니다

마셜은 계속 말했습니다. “세상사 다 그렇듯이 이 문제의 해법도 굉장히 우연한 방법으로 얻게 되었습니다. 어쩌다가 작업장에서 컨베이어 벨트의 속도를 측정하는 레이저를 지나치게 되었는데, 그 순간 아무래도 패러다임 자체를 뒤집어보면 어떻겠냐는 깨달음을 얻었어요. 고정된 레이저가 움직이는 사물의 속도를 측정하는 대신, 움직이는 레이저가 고정된 도로를 측정하는 것이었죠! 그래서 저희는 Polytec이라는 독일 회사에서 최신 레이저 장비를 사들여다 구닥다리 축음기에다 붙이는 미친 짓을 저질렀습니다. 그리고 레이저의 운동을 읽어들일 수 있는 소프트웨어의 인터페이스를 작성한 다음, 축음기가 돌아가는 동안 언리얼 엔진 속의 버스 메시가 앞뒤로 움직이는 광경을 바라보았죠. 그 정도의 정밀도라면 분명 GPS보다 훨씬 높은 해상도의 움직임을 제공할 수 있겠더라고요.”

문제 하나는 해결되었지만 아직 수많은 문제들이 남아있었습니다.

화성은 드넓은 행성입니다. 그리고 버스가 돌아다닐 워싱턴 D.C.도 나름 넓은 공간이죠. 이 두 가지 요소가 만나면 아주 주의깊은 생각을 기울여야 합니다.

blogAssets%2F2016%2FOctober+2016%2FOctober14_FieldTripToMars_SHOWCASE%2FFieldTripToMars_Pic7-770x433-7b282ef2f61f87558b286b95311f16be56dfb752

“원래는 워싱턴 D.C.의 250 제곱킬로미터를 기준으로 잡고 맵셋을 만드려고 했어요. 정말 엄청난 양의 데이터를 요구합니다. Rockstar Games가 만든 Grand Theft Auto 5 전체 맵의 6배에 달하는 넓이예요. 오래지 않아 저희는 이게 너무 터무니없는 야망의 계획이라는 사실을 깨달았고, 결국 4 제곱킬로미터로 맵을 만들기로 타협을 보았습니다. 그래도 여전히 엄청난 양의 데이터를 만들어내어야 했지만, 본래의 야망에 비하면 식은죽 먹기였죠.” 프로젝트의 맵&데이터 디벨롭먼트 리드, Bill Davey(빌 데이비)의 말입니다.

데이비는 자신들이 만들어낼 풍경에 감탄하고, 그런 풍경을 만드는 데에 필요한 데이터의 양을 깨달았을 때 충격을 받은 순간을 다시금 떠올렸습니다. “단순히 데이터를 만드는 것 뿐만 아니라, 계속해서 발생하는 문제들도 해결해야 했어요. 한번은 레이저 감지를 테스트 했던 날에 비가 왔었어요. 버스에서 내렸는데 데이터가 전혀 없어서 다들 어리둥절했죠. 되게 비싼 장비인데 작동을 안하는 거예요. 그래서 누가 버스 밑을 한번 살펴보자는 생각을 해서 보니까, 물방울이 렌즈를 덮고 있더라고요. 실내에서는 문제가 안되었는데 버스 옆에 설치하니까 이런 문제가 생긴 거였죠... 그래서 다시 렌즈를 깨끗이 닦아낸 다음 방수처리를 해야 했어요. 이렇게 또 다른 물리적 문제를 해결한 것이었습니다.”

물론 제작팀이 맞닥뜨린 수많은 장애물들 중에는 단순한 물리적 문제도, 엔진 상의 문제도 아닌 것들이 있었습니다. 프레임스토어는 30년 넘게 시각효과를 만들어온 회사이고, 개발팀도 이미지 렌더링에 굉장히 익숙해져 있었습니다. 하지만 이런 방대한 경험이 무색하게도, 프로젝트의 리드 테크니컬 아티스트 Bryan Brown(브라이언 브라운)은 실시간 3D 작업의 의미를 개발팀에게 직접 교육해야 했습니다.

blogAssets%2F2016%2FOctober+2016%2FOctober14_FieldTripToMars_SHOWCASE%2Fschoolbus_day5-770x437-7240a6fbb3cc3f1a5b68178407caeb88007c1fa8

“프로젝트 중에 직면했던 가장 큰 장애물은 제작팀으로 하여금 실시간 3D 사용과 기획 관리에 속도를 붙일 수 있도록 만드는 것이었어요. 영화의 씬 하나를 찍을때는 배경에 엄연한 한계가 있습니다. 시간도 충분하고, 어떤 결과물이 나오길 원하는지도 정확하게 알고 있어요. 하지만 실시간 3D 렌더링은 다릅니다. 끊임없이 변화하는 보유 리소스의 균형을 계속해서 맞춰야만 합니다. 일단 배경을 2k로 맞춰서 제작해보라고 시켰지만, 제작팀은 4k로 만들어놓길 원했어요. 에픽게임즈의 기술지원 파트너들에게 물어보니, 당시만 해도 4k 해상도의 배경 제작은 실험적인 것이라고 조언을 해주더라고요. 하지만 우리는 최대한 노력을 기울였고, 언리얼 엔진 역시 문제를 굉장히 훌륭하게 처리해주었습니다. 그래서 이런 성공에 워낙 들뜬 나머지 '야, 이제 8k로 만들어보는 건 어때?' 하는 말도 나오더라고요. 그래서 저는… '안돼, 실시간 3D는 그렇게 돌아가는 물건이 아니라고!'라고 대답해줬죠."

화성으로의 현장학습의 시니어 디벨로퍼, 클로드 대로는 자신이 고안한 절차적 해법에 약간의 보완을 더했습니다.

“이번 프로젝트는 제가 처음으로 언리얼 엔진을 사용해본 프로젝트인지라, 초반에는 엔진에 익숙해질 때까지 약간 애를 먹었습니다. 하지만 그 점도 굉장히 신선하게 다가왔던 것 같아요. 정말 아무것도 모르는 상태에 시작했기 때문에, 이건 되고 이건 절대 안된다는 선입견이 전혀 없었거든요. 배경은 워낙에 광대했던지라 절차적 생성 방식으로 만들어야 하면서도, 충분히 영화 속에서나 볼만한 화성의 풍경을 만들어야만 했습니다. 그래서 이런 방식으로 배경을 제작함과 동시에 지오메트리를 배치하는 일이란 굉장히 어려웠어요.” 

대로는 계속 설명했습니다. “화성 표면의 오브젝트들을 일일히 손으로 만들기에는 시간과 노력이 너무 소모되었어요. 너무 어려웠죠. 그래서 절차적으로 시행했습니다. 또 전체 맵은 데이터를 엄청나게 채워두어야 해서, 이 작업에도 팀 전체의 시간과 노력을 잡아먹는 건 물론이고 프로젝트 전체에 걸리는 시간마저 늘려놓을 지경이었어요. 그래서 위에 고안해냈던 절차적 생성 플러그인에 약간의 보완을 더해, 전체 뒷배경의 풍경을 생성해내게끔 만들었어요. 덕분에 나머지 팀은 화성의 배경에서도 주인공 격의 기능을 만드는 데 집중할 수 있었죠.”

"처음 플러그인 버튼을 누를 때 느껴졌던 떨리는 심정이 아직도 기억납니다. 하지만 그 플러그인을 가지고 2주정도 작업을 하고 나니, 그냥 가만히 앉아서 플러그인 기능이 화성의 배경을 마구 만들어내며 풍성한 풍경을 빚어내는 광경을 바라보고 있었죠. 덕택에 프로젝트의 마감까지 시간을 꽤 많이 벌 수도 있었고요. 굉장히 만족스러우면서 흐뭇한 순간이었어요.”

blogAssets%2F2016%2FOctober+2016%2FOctober14_FieldTripToMars_SHOWCASE%2FFieldTripToMars_Pic2-770x433-567f5d92ec02366e8ac52837f2bbe120e7f6571f

이런 방대한 규모와 엄청난 기술력을 요구하는 프로젝트를 진행하면서 숱한 고난을 겪어야 했던 팀원들은, 모두가 한결같이 언리얼 엔진에 칭찬을 보내주었습니다. 

“저는 지난 4년동안 언리얼 엔진을 사용해왔지만, 아직도 언리얼 엔진의 데이터 양적 처리 능력은 놀라울 따름입니다.” 라고 브라이언 브라운은 말했습니다.

프로젝트의 테크니컬 아티스트인 벤 폭스 역시 동의했습니다. “실제 세상의 사물처럼 반응하는게 최고의 장점 아닌가 싶습니다. 그냥 엔진 내에 사물을 이리저리 배치하면서 '여기에 태양을 놔, 여기에 하늘을 놓고.…' 라고 명령을 내리면 엔진이 알아서 제가 원하는 컨셉대로 처리를 해줍니다. 굳이 세세한 자연 현상까지 모두 만들 필요도 없어요. 그 부분은 엔진이 정말 완벽하게 처리해주거든요. 언리얼 엔진의 채택은 프로젝트에서 원했던 미학을 추구하기 위한 자연스러운 선택이었어요. 과연 다른 차선책이 있기나 했을지 짐작조차 가지 않습니다.”

언리얼 엔진은 엄청나게 풍부하면서도 세세한 사용자 경험을 실시간으로 제공할 수 있는 능력으로 정평이 나 있습니다. 하지만 시각적 경험은 그저 스토리의 일부일 뿐입니다. 화성은 보기만 좋아서는 모자랍니다, 소리까지 완벽해야죠.

“가상현실에 공감성을 부여하려면 먼저 정말 현실처럼 느껴지게끔 만들어야 합니다.”  프로젝트의 사운드 디자이너 Joey Hernandez(조이 에르난데즈)의 말입니다. “개발팀은 체험 전반에 걸쳐 음향 효과가 굉장히 중요한 입지를 차지하길 원했습니다. 이를 성취하기 위해서는 체험이 지속되는 동안 끊임없이 음향이 재생되어야만 했죠. 그러면서도 버스에 타고 있는 아이들이 지루함을 느끼지 않도록 음향 효과가 계속 무작위로 재생되게끔 시스템을 설계했습니다. 또한 화성 탐사 로봇인 Rover를 만나는 등의 이벤트가 발생하면, Rover에 대한 설명으로 음향이 자연스럽게 이어질 수 있도록 흐름이 끊어지지 않는 재생 중지 기능도 넣어야만 했죠. 그러니 음향의 타이밍을 아주 정확하게 배분해야 했습니다. 언리얼 엔진이 아니었다면 불가능한 일이었을 겁니다.”

수많은 장애물들에 직면하고 또 극복하면서 프로젝트는 끊임없이 앞으로 나아가, 결국 프로젝트의 의뢰인은 물론 궁극적으로는 대중들 모두를 스쿨버스에 태우고 화성 여행을 떠나는 체험을 완성할 수 있었습니다. 하지만 여전히 온갖 돌발상황이 튀어나왔었습니다.

데이비는 당시 의뢰주였던 록히드 마틴 사 앞에서 최종 데모 버전을 시연해보였던 기억을 더듬었습니다.

“록히드 마틴의 캠퍼스에서 데모 시연을 했었습니다. 세팅은 모두 끝났고, 버스를 주차해둔 채 록히드 마틴 사의 간부들이 도착할때까지 대기하고 있었죠. 그런데 문제는 아무도 록히드 마틴 캠퍼스가 무슨 자성을 띠는 지반 위에 건설되었다고 이야기해주질 않은 겁니다. 그래서 버스를 출발시키자, 버스 지붕에 있던 자이로스코프가 통제불능 수준으로 돌기 시작했습니다. 돌고, 돌고, 또 돌다가 거의 50미터는 전진한 후에야 겨우 진정을 했는데, 그때는 또 운전방향하고는 완전히 반대 방향을 가리키고 있었습니다. 이런 오류를 고칠 수 있는 유일한 방법이라고는 급히 게임 패드를 입력 시스템에 연결해서, 체험자들이 풍경을 보기 전에 미리 게임 패드 트리거로 풍경을 조정하는 수 밖에 없었습니다. 그렇게 어찌어찌 넘어갔죠. 도대체 기술적으로 얼마나 완벽한 준비를 하든 간에, 돌덩이 하나 때문에 시연 전체가 어그러지는 것을 어떻게 막겠습니까!”

“음향 시스템 켜는 것을 잊어버리기도 했죠.” 조이 에르난데즈도 끼어들었습니다. “'켜짐'  버튼이 조그만 공간에 들어있던지라, 아무도 들여다 볼 생각도 못한거예요. 결국 제가 직접 기어들어가서 발로 빼내는 수 밖에 없었습니다. 뭐... 흥미로운 경험이었어요.”

blogAssets%2F2016%2FOctober+2016%2FOctober14_FieldTripToMars_SHOWCASE%2FFieldTripToMars_Pic4-770x451-e92d3c7f2c3d76f1f045808c24f89901f29d50d2

개발팀과 인터뷰를 진행하면서, 개발자들이 이번 프로젝트 개발 과정을 통해 서로 얼마나 친밀해졌는지 잘 알 수 있었습니다. 모두가 프로젝트 구현에 아주 핵심적인 역할을 했고, 모두의 생각과 의견이 동등한 비중을 가졌었습니다. 그렇게 모두가 함께 인내하며 목표를 향해 노력한 결과는, 가히 항공우주의 선두주자 록히드 마틴 사에서도 최신 기술의 사례로 꼽힐만한 것이었습니다.

“버스 장비를 조립하기 위해 워싱턴 D.C.의 한 차고에 작업장을 꾸렸습니다. 당시 기온이 섭씨 1도였는데, 히터를 5개나 뒀더니 차단기가 자꾸 내려가는 거예요. 그래서 히터를 켜느냐, 컴퓨터를 켜느냐 선택의 기로에서 결국 테이블 아래에 히터를 1개만 켜두고, 이 부근에 최대한 모여앉아 몸을 녹여야 했습니다.”라고 포스너는 회상합니다.

“몇 달동안 계속 똑같은 프로젝트의 똑같은 드라이빙만 하다보니 결국엔 지루함을 느끼게 됐죠. 그러면서 갑자기 든 생각이 '와, 애들이 진짜 이 버스 타면서 지루하면 안될텐데' 하는 거였죠. 그런데 또 생각해보니까 '잠깐만, 얘들은 창문 바깥에 진짜 외계 행성이 떠오르는 버스를 타본 적이 없잖아.' 하는 거예요. 그래서 그 이후로는 계속 아, 재밌다. 아, 완전 신선하다 하는 생각을 계속해서 주입하려고 노력했죠.”

마지막 마무리는 대로의 발언으로 끝내도록 하죠.

blogAssets%2F2016%2FOctober+2016%2FOctober14_FieldTripToMars_SHOWCASE%2FFieldTripToMars_Pic5-770x513-bf8970df4c5ae970885288b9bcacca6aa733e9f6

“최고의 순간은 바로 아이들을 태우고 처음으로 달렸을 때였어요. 그 순간까지 가는 과정이란 온갖 문제와 장애물로 점철되어 있었죠. 대부분은 하드웨어와 관련된 문제들이었고, 이런 것들을 해결하고 프로젝트를 완료하기 위해 정말 오랫동안, 오랫동안 노력을 해야 했습니다. 그렇게 버스에 아이들을 태우고 화면이 한번 어두워졌다가 화성의 풍경이 떠오르자... 버스 안이 정말 광란의 도가니가 되었죠. 그냥 그 반응을 보는 것만으로도 정말 굉장했어요. 그 전날에 채 몇 시간도 자지 못했는데, 피로고 뭐고 싹 다 날아가더라니까요. 그런 아이들을 보고 있자니 정말 감성적으로 변하더라고요.”

화성으로의 현장학습은 정말 굉장한 아이디어를 믿을 수 없는 수준으로 구현해낸 작품입니다. 소규모의 팀으로도 적절한 도구와 동기부여만 있다면, 세상이 깜짝 놀랄만한 체험을 만들어낼 수 있다는 환상적인 사례라고 할 수 있습니다. 이렇게 생각한 사람이 저희뿐만은 아니었나 봅니다.

프레임스토어의 이번 프로젝트는 최근 열린 Cannes Lions International Festival of Creativity에서 단일 작품으로는 가장 많은 상을 수상한 작품이 되었습니다. 총 11개 종목에서 19개의 상을 수상했는데, 수상 내역은 다음과같습니다:

  • 이노베이션 1개
  • 금상 5개
  • 은상 8개
  • 동상 5개

 

또한 전세계에서 모인 전체 종목의 총 43,000여 경쟁 작품들을 제치고 22개 작품의 티타늄 수상 작품 후보 중 하나로 선정되기도 하였습니다. 상당한 업적이라 할 수 있겠죠.

프레임스토어의 개발자들이 언리얼 엔진을 선택해주어 굉장히 자랑스럽고 영광으로 생각합니다. 또한 에픽게임즈의 엔진이 미래를 이끌어갈 인재들에게 인생에 길이 남을 우주 여행을 시켜줌으로써, 차세대 과학자이자 프로그래머, 실시간 시각화 전문가 및 우주인이 될 만한 초석을 깔아주는 데에 일조했다는 점 역시 굉장히 기쁩니다.

아직도 화성으로의 현장학습 체험 영상을 보지 않으셨다면, 아래 영상을 보시길 강력하게 추천합니다. 

아래 영상에는 개발팀의 한마디와 제작 과정의 뒷이야기 영상이 담겨있습니다. 5분을 투자할 가치가 충분합니다.

그리고 또 모르죠, 어떤 언리얼 개발자가 이 영상을 보고 나도 저런 별천지를 만들어봐야겠다는 목표를 세울지도... 다른 별까지는 아니더라도 최소한 화성의 풍경은 만들어봐야겠단 생각은 하지 않겠습니까.