우리는 NEP의 시니어 언리얼 엔지니어, 로엘 바트스트라(Roel Bartstra)와 이야기를 나누어 보았습니다.
NEP는 언제부터 언리얼 엔진을 사용하기 시작했나요?
NEP의 첫 언리얼 엔진 프로젝트는 몇 년 전, 제가 이 회사에 입사하기 전에 진행되었습니다. 이 프로젝트에서 제작팀은 "아이 벳 잇 아이 캔 두 잇(I Bet It I Can Do It)"이라는 로컬 게임 쇼에서 사용할 증강현실 보강형 가상 세트를 언리얼 엔진으로 만들었습니다. 프로젝트가 끝난 후, NEP는 관련 하드웨어와 소프트웨어, 인력, 그리고 연구 및 개발에 더욱 상당한 투자를 하기로 결정했습니다.
방송 제작 분야에서 증강현실이 무엇을 의미하는지 설명해 주실 수 있나요?
우리는 공간적 제약이 존재하는 시나리오나 원했던 스튜디오가 이미 예약되는 등 물리적으로 불가능한 결과물을 제작하면서 가치를 더했습니다. 가상 세트 고객들은 보통 그린 스크린 세트에서 방송을 하며, 이런 세트는 대개 공간이 매우 작습니다. 가끔은 가상 세트 확장에 대한 요청이 있는데, 이 경우에는 실제 세트나 세트의 일부가 전경에 설치되어 있고, 증강현실의 그래픽과 소품은 카메라 뒤에 배치됩니다. 또는 실제 소품이 전혀 존재하지 않으며, 출연자의 배경을 모두 컴퓨터 그래픽으로 채워야 하는 경우도 있습니다.
제작 분야에서는 출연자가 역동적으로 생성되는 실시간 그래픽과 상호작용할 수 있기에 이를 '증강현실'이라고 부르며, 이렇게 이미지를 생생하게 전달하는 마법은 주로 생방송 중에 언리얼 엔진에서 이루어집니다. 또한 뉴스 및 스포츠 통계와 관련된 콘텐츠를 실시간으로 업데이트하는 등 데이터 기반 그래픽을 방송 시나리오 속에 구축할 수도 있습니다. 특히 유로스포츠(Eurosport)의 동계 올림픽 중계 방송과 리버티 글로벌(Liberty Global)의 지고 스포츠(Ziggo Sport)에서 진행한 포뮬러 원(Formula 1)의 중계 방송 등에 굉장히 많이 사용되었습니다. 또한 고객들 중에는 실제 세트에서는 불가능한 장면을 보여줄 수 있는 가상 세트 방송을 준비하시는 분들도 있습니다.
다른 제작사들의 고용을 위한 서비스를 제공하는 것인가요, 아니면 기존의 제작/그래픽 팀과 협력하는 서비스인가요?고객에 따라 다릅니다. 멀티캠 오퍼레이션에 추가 작업일 때도 있지만, 처음부터 끝까지 체계적인 그래픽 서비스를 별도로 제공해드릴 때도 있습니다. 종종 디자인 단계에도 참여하며, 기존의 디자인을 기반으로 실현할 수 있는 작업 방식을 찾는 경우도 있습니다. 이런 고객 중 대다수는 레이 트레이스 된 이미지를 제공하고 실제 방송은 어떻게 보일지 아이디어를 얻는데 익숙한데, 이 경우 저희는 언리얼 엔진 4에서 실시간으로 미리보기를 제공합니다.
NEP가 AR에 투자하기로 결정한 이유는 무엇인가요?
NEP 더 네덜란드(NEP The Netherland)의 매니징 디렉터인 랄프 반 벡텐(Ralf van Vegten)은 AR이 역동적인 가상 방송 세트 제작의 미래가 될 것이라고 확신했습니다.
저는 게임 분야에서 경력을 쌓았으며, 15년 전에 게임의 레벨 디자인과 언리얼 토너먼트의 모드를 제작할 때부터 언리얼 엔진을 사용하기 시작했습니다. NEP가 방송 분야에서 요구 사항을 충족하기 위해 언리얼 엔진 팀을 확장하고 게임 산업의 노하우를 통합하면서, 저는 약 2년 전에 입사했습니다.
초기에는 고도의 기술적 전문성과 맞춤형 개발이 필요했기 때문에 상당한 비용이 들었지만, NEP는 방송 제작 분야에서의 AR 활용에 드는 비용을 훨씬 효율적으로 만들기 위해 인력과 기술에 막대한 투자를 쏟았습니다. 우리도 계속해서 방법을 개선하고 향상시키며, 제작에서 AR로 대체할 수 있는 측면에 대한 연구와 함께, 실용적인 프로세스를 만들려고 노력하고 있습니다.
언리얼 엔진을 사용하면 그래픽이 매우 사실적이므로, 실제 세트를 바탕으로 AR을 만드는 게 아니라 아예 스튜디오 전체를 AR로 대체할 수도 있습니다. 고객들은 지금까지의 결과에 매우 만족했습니다. 처음에는 한 달에 1개 정도의 AR 방송을 만드는 것으로 시작했는데, 지금은 보통 4~5개의 방송의 제작이 동시에 진행되고 있으며 매주 1~2개가 방송되고 있습니다.
언리얼 엔진 담당 팀을 유지하는 이유는 무엇인가요?언리얼 엔진 덕분에 높은 프레임으로 사실적인 그래픽을 만들 수 있는데, 방송에는 초당 50프레임의 재생 속도가 필요하다는 사실을 생각해보면 이는 정말 중요한 점입니다. 다른 게임 엔진 기술도 시험해 보았지만 이 정도의 이미지 충실도와 실시간 퍼포먼스를 달성하지는 못했습니다. 또한 언리얼 엔진은 이미 엄청난 양의 탄탄한 제작 툴을 갖추고 있어서, 정말 쉽고 빠르게 제작을 시작할 수 있습니다. 협력사 제로 덴시티(Zero Density)의 툴과 잘 통합되어 있으며, 저희는 엔진 자체에서 더 많은 작업을 수행할 수 있는 보다 창의적인 자유를 제공하기 위해 협력하고 있습니다.
방송사는 회사의 일부를 가상 스튜디오로 전환하는데 필요한 투자를 어떻게 관리하나요?
이 모든 것은 부가가치를 설명하는 것입니다. AR은 말 그대로 상상할 수 있는 모든 것을 만들어내며, 이는 다른 세트와 소품 등을 사용하는 것보다 비용 면에서 훨씬 더 효율적입니다. 예를 들어 유로스포츠의 경우 5x5m의 작은 휴게실을 소규모의 그린 스크린 무대로 바꿨습니다. 이 공간에 충분한 조명이 들어올 수 있도록 천장에 스카이라이트를 추가하여 비용을 최소화했습니다. NEP에서는 '그린 박스 스튜디오'를 만드는 작업도 진행 중입니다. 이 스튜디오는 필요한 하드웨어와 소프트웨어를 사전에 모두 구비해 둔 완벽하게 작동하는 가상 스튜디오로, 네덜란드 곳곳에 있는 제작사들에서 일회성 방송을 진행할 때 대여를 할 수 있도록 만든 장소입니다.
이런 확장에 핵심적인 역할을 하는 장비와 소프트웨어는 무엇인가요?고객마다 다릅니다. 대다수 고객들에게는 세트에 구성되어 보여질 가상 화면을 통제하기 위해, AR 촬영 기사 및 그래픽 관리자와 함께 스튜디오에서 갖추고 있는 모든 하드웨어와 소프트웨어를 제공합니다. 또한 언리얼 엔진에 있는 그래픽 패키지를 배포한 후에는 고객사의 내부 팀원들에게 비슷한 시스템을 구성하고 운용하는 방법에 교육을 제공할 수 있습니다.
무엇보다 중요한 점은, 우리가 변화를 만들고 있다는 점입니다. NEP 더 네덜란드는 매우 사람들 중심적인 조직입니다. 우리 팀은 끊임없이 새로운 기술과 워크플로, 그리고 전문 분야에 대한 교육을 받고 있습니다. 급변하는 미디어 산업에서는 가장 높은 수준의 지식이 필요하다고 믿기 때문에, 우리는 성장과 혁신, 그리고 야망을 자극합니다.
여러분의 언리얼 엔진 팀에는 아티스트가 많은가요, 기술자가 많은가요?
섞여있습니다. 디자이너를 맡은 3D 아티스트들도 있지만, 다들 게임 분야에서 경력을 쌓은 사람들입니다. 또한 모델링도 어느 정도 할 줄 아는 테크니컬 아티스트들도 있는데, 대부분은 블루프린트 스크립트와 커스텀 머티리얼을 만들고 현실 속에 합성하는 작업을 수행합니다. 바로 실시간 가상 세트의 배경 속 모델을 구현하는 모든 기술적 프로세스 말이죠.
고객에게는 평균적으로 몇 개의 애셋을 만들어 드리나요?쇼의 특징마다 다르긴 한데, 작은 스튜디오의 소규모 뉴스 방송의 경우 10~50개 정도지만, 포뮬러 원 중계 방송같은 경우에는 100개 가량의 애셋을 만들고 있습니다. 이런 애셋들은 일반적으로 고객사의 팀이 기존에 제작했던 애셋과 합성이 되기 때문에, 방송에는 대략 1,000개에 가까운 애셋이 나옵니다.
사실적인 CG 제작이 아니라 가상 세트용 디지털 애셋을 만들 때 다른 고려해야 할 사항이 있나요?
우리는 디지털 애셋을 만들 때 최대한 현실적으로 보이길 원합니다. 따라서 세트가 '현실'처럼 보이도록 만들기 위해, 목재 패널과 가장자리가 잘 맞지 않는 솔기와 같은 약간의 결함이 있는 모델을 제작해야 합니다. 그렇지 않으면 너무 완벽해 보여서 실제라고 믿기 어렵기 때문입니다.
방송사는 언리얼 엔진을 채택하는 이유는 시간과 비용을 절약하기 위해서인가요, 아니면 방송에서 보여줄 시각적 그래픽에서 유연성을 더 발휘하고 싶어서인가요?
유연성도 분명 우리가 노력하고 있는 부분이지만, 일반적으로는 시간과 비용을 절약하기 위해서 사용합니다. 세트에서 LED를 많이 사용하는 방송의 경우 특히 그렇습니다. LED는 사실상 디지털 방식으로 만들 수 있기 때문에, 실제 LED 세트와 비교해 보면 가상 화면을 만드는 것이 훨씬 저렴합니다.
게임 엔진을 사용하면 방송 분야에서 기존에 사용하던 방식을 바꿀 수 있는 기회가 될까요?
네, 언리얼 엔진은 가상 프로덕션의 진정한 판도를 바꾸어 놓고 있습니다. 이제 역동적으로 가상 세트의 디자인과 애셋을 실시간으로 생성하고, 반복 작업하며 개선할 수 있으므로 더 이상 실제 세트를 만들 필요가 없습니다. 언리얼 엔진은 뉴스 방송과 스포츠 중계, 예능을 비롯한 모든 유형의 생방송과 녹화 방송을 위한 변화무쌍한 기술로, 사실적 표현 또는 양식화된 표현이든 필요에 따라 실시간 데이터 기반 컴퓨터 그래픽(사실적이든 양식화가 되었든)의 이점을 제공해 줍니다.