FOX Sports 이미지 제공

획기적인 멀티캠 버추얼 프로덕션 스튜디오로 NFL 시즌을 시작한 FOX Sports

좋아하는 음료를 준비하고, 피자를 주문하고, 친구들을 초대했습니다. 몇 달을 기대한 끝에 마침내 TV를 켭니다. 새 NFL 시즌이 시작됩니다. 미국인 수백만 명이 이렇게 폭스 NFL 선데이(FOX NFL Sunday)를 시청합니다. 폭스 스포츠(FOX Sports)의 경기 전에 진행되는 이 쇼는 거의 30년 동안 경기 당일의 필수적인 일정이 됐습니다. 프리뷰, 분석, 패널 토론이 진행되는 이 쇼는 에미상(Emmy Awards)을 네 차례나 수상했습니다.

올해 이 쇼의 인상적인 방송 이면에서는 색다른 일이 벌어졌습니다. 처음으로 폭스 NFL 선데이가 언리얼 엔진을 사용하는 새 LED 버추얼 프로덕션 시설에서 제작된 것입니다. 획기적인 멀티캠 기능을 지원하는 이 시설이 완공되기까지 6개월 이상 걸렸으며 총 3만 시간의 인력이 투입되었습니다.
 

새로운 시대의 시작

폭스 스포츠의 총괄 부사장 겸 크리에이티브 디렉터인 게리 하틀리(Gary Hartley)에게 있어, 새 시설로의 이전은 스토리텔링과 고유한 시각 요소를 결합하는 폭스의 능력을 보여주는 또 하나의 사례입니다. 하틀리는 설명합니다. “스포츠 부문을 시작했을 때 데이비드 힐(David Hill)이라는 사람이 운영을 맡았는데, 그의 접근법은 혁신적이었습니다. 항상 질문을 던지곤 했죠. ‘왜 점수를 알 수가 없는 걸까?’ 그렇게 묻고 화면에 방송 그래픽을 띄우게 했습니다. 당시 저희의 구호는 ‘똑같은 게임, 새로운 태도’였습니다. 이는 30년 가까이 폭스 스포츠의 기본 정신이 되었습니다. 게임을 보여주는 데 그치지 않고 스포츠 방송의 한계 너머를 추구하는 것입니다.”

이 정신은 2019년에 분명하게 드러났습니다. 폭스 스포츠는 NAB에서 언리얼 엔진 기술을 보고 난 후 게임 그래픽 분야에 본격적으로 진출한 초기 방송사 중 하나가 됐습니다. 그 결과 마련된 미국 노스캐롤라이나주 샬럿의 가상 나스카(NASCAR) 세트는 팀에게 리얼타임 기술을 실험할 완벽한 기회를 제공했습니다. 다만 문제가 하나 있었습니다. 이 스튜디오는 LED가 아니라 그린 스크린을 사용하여 제작됐기 때문에 초록색이 번지는 문제가 발생했으며, 출연자가 세트의 시각 요소를 보거나 상호작용할 수 없었습니다.

폭스 스포츠의 그래픽 기술 및 통합 담당 선임 부사장 잭 필즈(Zac Fields)는 회상하며 말합니다. “얼마 지나지 않아 LED와 XR이 화제가 되는 것을 알게 됐습니다. 영화와 드라마 쪽 사람들이 LED를 사용한다는 것은 알고 있었지만 이를 라이브로 하는 사람은 없었습니다. 초기 데모를 몇 개 확인한 다음, 이 기술을 시도해봐야 한다고 느꼈습니다. LED를 사용함으로써 손쉽게 출연진을 어떤 환경에든 데려다 놓고 세트에서 포토리얼한 라이팅 이펙트를 얻을 수 있었습니다. 그러면서도 그린 스크린을 키 지정하거나 플레이어 그래픽 같은 복잡한 엘리먼트를 사전에 렌더링할 필요가 없었습니다.”
 

멀티캠 프로덕션

로스앤젤레스의 폭스 부지에 지어진 폭스 스포츠의 새 버추얼 프로덕션 스튜디오에는 2층 높이, 477제곱미터 크기의 LED 월과 바닥 패널이 설치됐습니다. 이는 클러스터드 렌더링을 위해 25개의 언리얼 엔진으로 가동되어 4K 비주얼을 디스플레이할 수 있습니다. 7개의 AR 지원 카메라가 세트에 설치됐으며, 그중 4개는 LED 볼륨 내에서 라이브 AR/XR을 처리할 수 있습니다. 모든 트래킹, AR 컴포짓, 컬러 매칭은 스트라이프랜드(StypeLand)로 처리됐으며, 현장 스튜디오 컨트롤에는 https://www.erizos.tv/에리조스(Erizos)가 사용됐습니다. 11개의 비즈트(Vizrt) 엔진은 LED 볼륨 밖에서 LED 화면을 구동합니다.
FOX Sports 이미지 제공
프로젝트의 리드 테크니컬 아티스트 알렉스 셀플링어(Alex Seflinger)는 말합니다. “새 스튜디오의 LED 월은 바닥을 제외하고도 1만 픽셀에 달합니다. 4K를 출력하기에 충분한 규모입니다. 이미 복잡한 구성이지만 저희는 조금 더 나아가고 싶었습니다. 볼륨에서 멀티캠이 작동하게 하고자 했죠.”
FOX Sports 이미지 제공
그러나 멀티캠 기능을 LED 볼륨에 구축하는 것은 지금까지 라이브 방송에서 아무도 시도하지 않은 일이었습니다. 셀플링어는 말합니다. “지금까지의 LED 반복작업에서는 일반적으로 디렉터가 LED 월에 표시되기 전까지 라이브 프리뷰를 보지 않았습니다. 버추얼 스테이지가 방송처럼 작동하게 만들기 위해 팀은 프리뷰 및 컨트롤이 가능한 다수의 카메라 피드를 생성했습니다. 각 피드는 쇼가 라이브 방송되는 동안 디렉터가 여러 카메라 사이를 오가며 구도를 전환할 수 있도록 ELD 월의 어떤 각도에서 봐도 보기 좋아야 했습니다.
FOX Sports 이미지 제공
이를 위해 팀은 메가픽셀(MegaPixel)의 고스트프레임(GhostFrame)을 사용했습니다. 이는 4개의 60Hz 비디오 스트림을 240Hz 주사율의 LED 월로 결합하는 신기술입니다. 엔지니어링 팀이 각 프레임을 설정하면 디렉터는 모두 실시간으로 나타나는 4개의 카메라 피드를 각각의 고유한 관점으로 볼 수 있습니다.

필즈는 말합니다. “처음에 버추얼 프로덕션에서 멀티캠을 사용하는 것은 불가능하다고 생각했습니다. 다행히 고스트프레임 기술이 있었습니다. 라이브 방송을 가능케 하는 비법이었죠.”
FOX Sports 이미지 제공

보다 다이내믹한 세트

팀이 고스트프레임를 활용한 뒤, 다음 단계는 증강현실(AR) 엘리먼트를 각 샷 위에서 볼 수 있도록 세트를 확장 가능하게 만드는 것이었습니다. 폭스 스포츠의 시스템 엔지니어링 부문 부사장 대릴 무어(Daryl Moore)는 말합니다. “LED 월에서 실행되는 언리얼 엔진 16개에 더하여, 각 씬의 천장에 AR 엘리먼트를 레이어링하는 컴포지팅 엔진 7개, 모니터에 적용되는 엔진 2개가 추가했습니다. 이렇게 해서 여러 씬을 병렬로 표시할 수 있었습니다.”
FOX Sports 이미지 제공
대규모 구성으로 인한 지연시간과 실패 지점을 최소화하기 위해 폭스 스포츠 팀은 각 언리얼 엔진 머신을 내부 구조와 그래픽 카드까지 완전히 동일하게 만들었습니다. 유일하게 다른 점은 AR 엘리먼트인지, LED 월인지, 바닥인지에 따라 각 엔진이 입력하는 볼륨 부분뿐이었습니다.

무어는 이야기합니다. “언리얼 엔진을 매일 사용하다 보니 대단히 안정적인 제품임을 알게 되었습니다. 버추얼 그래픽이 바닥에서부터 출연진의 머리 위 하늘까지 모든 곳에 있는 풍부하고 레이어 처리된 씬을 빌드할 수 있었죠. 더 뛰어나고 다이내믹한 스토리를 전달하는 동시에, 언리얼 엔진을 믿고 라이브 방송 중에 충돌 없이 모두 렌더링할 수 있었습니다.”

변화하는 스포츠 방송의 미래

셀플링어에 따르면 폭스의 새 버추얼 프로덕션 스튜디오를 구축한 것은 아주 큰 이득을 가져다 준 모험이었습니다. 그는 설명합니다. “스포츠 방송, 특히 폭스 NFL 선데이 같은 방송에서는 아주 많은 일이 일어납니다. 모든 것이 아주 치밀하고 체계적입니다. 저희가 한 작업은, 30년 동안 계속된 쇼에 그동안 아무도 시도하지 않았던 새 버추얼 엘리먼트를 도입하고자 시도한 것입니다.”
FOX Sports 이미지 제공
쇼가 첫선을 보인 지 한 달이 채 지나지 않아 이 스테이지가 큰 성공을 거두면서 팀은 이를 야구, 농구 등 다른 스포츠에도 사용할 계획을 세웠습니다. 또한 더 많은 인터랙티브 AR 실험도 계획됐습니다. 필즈는 말합니다. “저희는 스스로를 스토리텔러라고 생각합니다. 언리얼 엔진은 새로운 방식으로 스토리를 전달할 툴을 제공합니다. 5년 전 나스카 스테이지에서 리얼타임 기술의 잠재력을 확인했죠. 이제 저희의 새 LED 볼륨을 사용해 뭐든지 할 수 있습니다.”
FOX Sports 이미지 제공

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.