The Famous Group 이미지 제공

Carolina Panthers 경기에서 관중들에게 놀라움을 자아낸 혼합현실

Craig Laliberte
NFL 시즌이 시작하고 맞는 첫 번째 일요일은 항상 놀라운 일들로 가득하지만, 올해는 특히 돋보이는 일이 한 가지 있었습니다. 캐롤라이나 팬서스(Carolina Panthers)가 상대 팀을 맞이했을 때, 뱅크 오브 아메리카 경기장(Bank of America Stadium)에 운집한 7만 명의 팬들은 혼합현실(MR)로 만든 거대한 표범이 전광판 위로 뛰어올라 뉴욕 제츠(New York Jets) 깃발을 물어뜯고 포효하며 달려가는 모습을 보고 놀라움을 금치 못했습니다. 이 영상은 온라인에서 화제가 되며 트위터(Twitter)에서만 590만 건의 조회 수를 기록했습니다.
 

몰입형 디스플레이의 핵심 파트너 중 한 곳인 더 페이머스 그룹(The Famous Group)의 CIO 겸 공동 설립자 그렉 하비(Greg Harvey)는 말합니다. “혼합현실은 놀라움을 자아내게 하는 힘이 있습니다. 팬들은 ‘방금 그거 뭐였어?’하고 깜짝 놀라는 순간을 경험하죠. 이게 어떻게 가능한지, 어떻게 디지털 크리처가 현실과 상호작용하는지 알지 못하죠.”

영화 쥬라기 공원(Jurassic Park) 1편의 티라노사우루스처럼 잘 만들어진 혼합현실 경험은 상상력을 자극하고 현실과 가상의 경계를 모호하게 만든다고 하비는 설명합니다. 팬서스의 팬들은 경기 시작 직전에 나타난 MR 표범에 환호를 보냈습니다. 하비는 이야기합니다. “표범이 포효하자마자 팬들이 열광하며 소리를 지르기 시작했습니다. 전광판에 기존 콘텐츠를 내보냈을 때보다 훨씬 격렬한 반응이었죠.”

제이크 번스(Jake Burns)는 팬들의 반응이 기대 이상으로 좋다고 느꼈습니다. 캐롤라이나 팬서스의 모기업인 테퍼 스포츠 & 엔터테인먼트(Tepper Sports & Entertainment)의 최고매출책임자를 맡고 있는 번스는 말합니다. “저희는 항상 시합이 있는 날 팬들을 위한 새롭고 혁신적인 경험을 구상합니다. 혼합현실 표범에 대한 반응은 저희가 예상했던 것보다 더 좋았습니다. 정말 대단했죠.”

눈앞으로 다가온 혼합현실 이벤트

하비는 현재 이루어지고 있는 것들이 리얼타임 기술과 라이브 이벤트의 결합에 내재된 잠재력에 비하면 빙산의 일각이라고 믿습니다. 하비는 말합니다. “지각변동이 일어나고 있습니다. 몰입형 경험은 라이브 이벤트 업계의 미래이며 그 형식이 증강현실, 가상현실, 혼합현실 중 하나일지, 이런 기술들의 조합일지, 아니면 완전히 새로운 기술일지는 시간이 흐르면 분명해질 것입니다.”

더 페이머스 그룹은 이러한 변화를 2019년에 예견했습니다. 이 회사의 첫 언리얼 엔진 프로젝트는 볼티모어 레이븐스(Baltimore Ravens)를 위한 혼합현실 라이브 경험이었습니다. 가상의 까마귀가 하늘에서 내려와 레이븐스 M&T 뱅크 경기장(Ravens’ M&T Bank Stadium) 끝에 있는 실제 골대에 앉는 것이었죠.

이를 시작으로 더 페이머스 그룹은 마이애미에서 열린 하드록 경기장(Hard Rock Stadium)의 슈퍼 볼 LIV(Super Bowl LIV)와 휴스턴 텍산스(Houston Texans)의 홈 구장인 NRG 경기장(NRG Stadium)에 설치된 회사 최초의 영구 혼합현실 설치물 등 수많은 MR 프로젝트를 담당했습니다.
흥미롭게도 텍산스가 새로운 MR 시스템을 설치하게 된 것은 새로운 후원 수익이 들어올 것이라는 전망 때문이었습니다. 하비는 설명합니다. “전체 경기장을 가득 채우는 핫 휠즈(Hot Wheels) 스타일 트랙에서 펼쳐지는 흥미진진한 크로거(Kroger) 쇼핑 카트 레이스, 경기장에서 실시간으로 벌어지는 텍사스 복권 추첨, 경기장에 나타난 쓰레기 수거차의 폐기물 처리 경험 등이 있습니다.”

“이전과 같이 전광판으로 스폰서 광고를 할 수도 있었겠지만, MR을 통해 이를 물리적 장소에 구현함으로써 해당 장소에 더 강렬한 인상을 주고 스토리의 시각적 경험에 더 깊은 몰입감을 제공하며 한층 흥미진진한 경험을 선사할 수 있습니다.”
눈길을 끄는 몰입형 기술의 힘은 캐롤라이나 팬서스에서도 발휘되었습니다.

하비는 이야기합니다. “대화를 하던 중 이런 얘기가 나왔죠. ‘이 기술로 경기장 밖에 있는 표범 조각상 하나를 움직이게 해서 그 표범이 상대 팀을 위협하게 하면 어떨까? 그러면 멋지지 않을까? 까마귀 때와 비슷하지만 한 차원 높은 경험이 되지 않을까?’ 그렇게 해서 MR 표범이 첫 홈 경기에 데뷔하여 인터넷을 열광의 도가니에 빠뜨리게 되었죠!”

혼합현실이 이벤트에 사용되는 방법

MR 표범을 경기장에 풀어 놓는 것은 애니메이션을 비디오에 컴포지팅하는 기존의 포스트 프로덕션 콘셉트였지만, 이 프로세스를 실시간으로 달성하는 데는 언리얼 엔진과 물리 트래킹 기술이 사용되었습니다.
The Famous Group 이미지 제공
표범을 구현하기 위해 트루포인트 레이저 스캐닝(TruePoint Laser Scanning)은 경기장 전체와 바깥의 표범 조각상을 3D 스캔했습니다. 이를 통해 표범 및 표범과 상호작용할 모든 물리적 요소의 실물 크기 모델을 얻을 수 있었습니다.

그런 다음 조익 스튜디오(Zoic Studios)의 애니메이션 팀은 이 경기장의 3D 모델을 바탕으로 표범의 경로를 구상하고 카메라 감독이 이 움직임을 어떻게 실시간으로 포착할지 프리비즈했습니다.

조익 스튜디오에서는 표범이 점수판으로 점프하고, 원정 팀의 깃발을 잡고, 깃발을 물어뜯은 다음 맹렬하게 포효하고 경기장을 떠나기까지의 모든 움직임을 만들었습니다. 조익 리얼타임 그룹(Zoic Real Time Group)의 CG 감독인 스콧 로즈크랜스(Scott Rosekrans)는 말합니다. “깃발이 핵심 요소였는데, 기존 렌더링 기술을 사용했다면 수십 번의 반복작업을 거쳐야 했을 것입니다.”
The Famous Group 이미지 제공
“저희는 언리얼에서 셰이더를 개발하여 XR 씬을 이용하는 최종 사용자가 팀 로고를 바꾸고, 깃발 크기와 모양을 조정하고, 세 개의 마스킹 레벨을 레이어링하여 찢어진 천을 사실적으로 애니메이팅한 다음 실제로 찢어진 깃발과 위치를 교체하도록 했습니다.”

조익에서 애니메이션 작업을 마친 후, 더 페이머스 그룹의 라이팅 아티스트는 언리얼 엔진에서 표범의 라이팅을 미세 조정하여 각각의 표범을 송출할 때 경기장 라이팅에 일치시킴으로써 시합 당일 CG 표범이 경기장에서 자연스러워 보이게 만들었습니다.
The Famous Group 이미지 제공
표범의 포효를 제작한 필드 데이 사운드(Field Day Sound) 팀은 PA 스피커에서 울려퍼지는 사운드 이펙트가 개방된 야외 경기장에서도 메아리를 치는 것처럼 들리게 했습니다.

더 페이머스 그룹은 트래킹 시스템과 미디어 서버 시스템을 현장의 물리적 장비의 일부로 구현하여 팀의 방송 조정실에 통합할 수 있도록 구축했습니다. 혼합현실 조정실의 현장 분위기는 이 영상에서 확인할 수 있습니다.

퀸스 이미징(Quince Imaging)은 이 하드웨어의 영구 설치에 대한 자문과 전략을, 스타이프(stYpe)는 AR 데이터 출력용 인코더를 비롯한 카메라 헤드를 제공했습니다. 두 회사는 모든 컴포넌트가 연결되어 경기장 내에서 서로 커뮤니케이션하도록 하는 일을 맡았습니다.

트래킹 시스템은 각 카메라 위치에서 모든 패닝, 기울이기, 초점, 확대 및 축소 데이터를 실시간으로 캡처하고 그 정보를 미디어 서버로 보냅니다. 미디어 서버는 트래킹 데이터를 수집하고 버추얼 카메라를 업데이트하여 물리적 카메라의 실제 위치와 동일하게 미러링합니다. 그러면 라이브 카메라 피드에 트래킹된 애니메이션이 오버레이되어 실시간으로 표범 애니메이션이 합성됩니다.

픽소토프(Pixotope)를 언리얼 엔진으로 통합하여 가상 경기장을 실제 경기장에 딱 맞게 조정함으로써 표범을 구현하면서 움직임과 접촉 지점을 아주 정밀하게 제어할 수 있습니다.
The Famous Group 이미지 제공
경기장에 있는 팬들은 대형 전광판을 보면서 MR 경험에 참여합니다. 하비는 말합니다. “아직은 MR을 라이브 모바일 디바이스 경험에 통합할 방법이 없지만, 이 또한 곧 실현될 것입니다. 저희는 경험을 게임화하기 위해 여러 콘셉트를 구상하고 있습니다. 그러면 경기장의 팬들이 혼합현실을 눈으로 보는 데 그치지 않고 실시간으로 상호작용할 수 있게 될 것입니다.“

혼합현실 경험을 위한 언리얼 엔진

이벤트, 특히 라이브 스포츠에서는 매 경기마다 동일한 콘텐츠가 재생됩니다. 더 페이머스 그룹은 언리얼 엔진을 사용하여 다양한 입력을 통해 이벤트마다 콘텐츠를 다르게 만들 수 있습니다. 예를 들어 가상 표범이 홈 경기 때마다 새로운 팀의 깃발을 찢고 경기장 안을 다양하게 누빌 수 있는 거죠.

하비는 이야기합니다. “기존의 VFX 포스트 프로덕션 파이프라인에서는 이런 작업을 효율적으로 달성할 수가 없었습니다. 게임 엔진은 보다 큰 샌드박스를 제공하며, 이를 통해 팬들이 경험할 때마다 달라지는 동적인 콘텐츠를 제작할 수 있습니다.“

또한 팀은 게임 엔진을 사용하여 게임 로직을 프로젝트에 프로그래밍함으로써 보다 몰입감 있고 인터랙티브한 경험을 만들 수 있습니다. 하비는 설명합니다. “이 기술은 완전히 새로운 차원의 상호작용을 가능케 하며, 선형적이고 수동적이던 경험을 게임화된 능동적인 경험으로 바꿉니다.”
The Famous Group 이미지 제공
하비는 또한 디지털 세계가 근본적인 변화를 맞이하는 중이며, 게임 엔진 기술이 그 진화의 핵심 역할을 맡을 것이라고 믿습니다. 그는 이렇게 말합니다. “언리얼 엔진은 미래에 생겨날 모든 형태의 메타버스를 만드는 데 사용될 것이라고 생각합니다. 이 업계에서는 디지털 트윈과 가상 경험이 미래입니다. 증강현실, 가상현실, 혼합현실, 메타버스는 모두 게임 엔진을 통해 실현되고 있으며, 앞으로도 그럴 것입니다.”

리얼타임 기술이 주도하는 이러한 경험은 갈수록 인터랙티브해질 것입니다. 하비는 말합니다. “언리얼 엔진은 이러한 발전을 앞장서서 주도하고 있습니다. 저희는 리얼타임 레이어를 라이브 이벤트에 적용하고 콘텐츠 에셋이 전광판에서 나와 혼합현실 시스템, 모바일 웹 AR 경험, 웹 기반 리얼타임 디지털 트윈으로 이동해 가는 미래를 그리고 있습니다. 언리얼은 이 모든 가능성을 실현할 것입니다!”

팬들이 이러한 몰입형 라이브 경험에 실시간으로 참여하고 적극적으로 컨트롤할 수 있게 되면 완전히 새로운 창의적 표현의 세계가 열릴 것입니다. 하비는 이야기합니다. “지금은 영화 레디 플레이어 원(Ready Player One)의 초반 몇 분 정도에 해당하는 셈입니다. 이 세계는 우리가 상상도 하지 못할 방식으로 증강될 것이며 새로운 몰입형 세상으로 나아갈 추진력은 언리얼과 같은 게임 엔진으로부터 나올 것입니다.”
 

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 제작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.