Pixomondo, alter ego, William F. White Int’l, Virtual Production Academy, Caledon FC 이미지 제공

버추얼 프로덕션 기반 축구 광고를 통해 시청자에게 놀라움을 선사하는 Pixomondo

2022년 10월 11일
할리우드의 황금기를 돌이켜 보면, 씬에 군중이 필요한 경우 실제 배우들을 데려와야 했습니다. 예를 들어 벤허(Ben Hur)의 유명한 전차 경주 씬에는 경기장을 가득 메운 채 함성을 지르는 8,000명의 엑스트라가 등장합니다. 글래디에이터(Gladiator)가 개봉할 당시에는 CG를 사용하여 콜로세움을 가득 채울 수 있었습니다. 벤허의 방식은 비용이 많이 들고 한곳에 모이는 데 큰 수고가 들며, 글래디에이터의 방식은 디지털 아티스트의 많은 업무량을 요구합니다.

광고 촬영 같은 경우에는 예산이 벤허보다 적습니다. 따라서 대형 경기장을 대여하고 수백 또는 수천 명의 엑스트라를 섭외하는 것을 고려할 수는 없습니다. 포스트 프로덕션에서 수십 시간을 할애하는 옵션이 있긴 하지만 딱히 고무적인 방법은 아닙니다.

다행히도, 이제는 최소한의 시간과 비용을 들여 실제와 구분하기 힘들 정도의 CG 군중을 만들 수 있는 방법이 있습니다.

케일던 FC(Caledon Football Club)의 최근 광고에서 픽소몬도(Pixomondo, PXO), 얼터 에고(alter ego), 윌리엄 F. 화이트 인터내셔널(William F. White International, WFW), 버추얼 프로덕션 아카데미(Virtual Production Academy, VPA)는 LED 볼륨과 버추얼 프로덕션 워크플로를 통해 비용은 낮추면서도 높은 퀄리티를 유지한 방법을 보여 주었습니다.
 

LED 스테이지에서의 슬로우 모션

환호하는 군중이 필요하다면 데이비드 화이트슨(David Whiteson)에게 도움을 요청하면 됩니다. 얼터 에고에서 VFX 부서장을 맡고 있는 화이트슨은 지난 26년간 컴포지터로서 업계에 종사했으며 필요할 때면 디렉터가 되기도 합니다. 이번에는 케일던 FC의 광고를 공동으로 이끌었습니다.

화이트슨의 팀이 프로젝트를 진행하는 동안 극복해야 했던 기술적 난관 중 대표적인 하나는 프레임 레이트와 관련된 것이었습니다. 높은 프레임 레이트로 촬영하면 LED 스크린에 깜빡임이 발생할 수 있습니다.

왜 이렇게 높은 프레임 레이트로 촬영해야 했을까요? 광고의 핵심 캐릭터가 뛰어 올라 바이시클 킥으로 결승골을 기록할 때 시간이 느려지기 때문입니다. 슬로우 모션 영상은 높은 프레임 레이트로 촬영된 다음 낮은 프레임 레이트로 재생됩니다.
 
Pixomondo, alter ego, William F. White Int’l, Virtual Production Academy, Caledon FC 이미지 제공

화이트슨은 말합니다. “제가 알기로는 이 광고 이전에 LED 스테이지에서 슬로우 모션을 달성한 사례가 없습니다. 48FPS와 같이 높은 프레임 레이트로 실행되는 LED 월에서 촬영하면 인카메라에서 스캔라인이 보일 가능성이 더욱 높아집니다. 하지만 이러한 현상은 LED 패널, 카메라, 카메라의 움직임에 따라 달라지기도 합니다. 최고의 결과를 얻기 위해 LED 월이 24FPS 또는 48FPS로 실행되는 동안 세 개의 서로 다른 카메라를 다양한 프레임 레이트에서 시험해 보았습니다.”

최종적으로 팀은 200FPS로 구동 가능하고 최소한의 깜빡임을 만들어 내는 알렉사 미니(Alexa Mini)를 사용하기로 결정했습니다. 화이트슨은 말합니다. “센서 내에서 크롭 작업을 수반하지 않아도 되는 카메라는 팬텀(Phantom)이 유일합니다. 200FPS에서 그치지 않고, 800FPS로 더 내려야 했습니다.”

깜빡임과 더불어, 팀은 군중 시뮬레이션 또한 기본 프레임 레이트인 24FPS보다 더 느리게 실행해야 한다는 것을 알게 되었습니다. 첫 번째 시험 촬영을 완료한 후, 군중의 움직임에 200FPS 카메라 속도를 감당할 정보가 충분하지 않다는 것이 확실해지자 팀은 다양한 속도의 CG 관중 베리에이션을 사전에 제작했습니다. 촬영한 프레임 레이트에 따라 언제든지 이 애니메이션 중 하나를 즉시 활성화하면 됐습니다.

화이트슨은 말합니다. “버튼 하나로 다양한 에셋을 로드할 수 있다는 것이 언리얼 엔진의 큰 장점입니다.”

영화와 TV를 위한 디지털 3D 군중

컴포지터로서 화이트슨은 대형 경기장을 가득 채울 3D 관중을 복제하거나 생성해 달라는 요청을 자주 받습니다. 그는 이러한 작업이 까다롭고 시간도 많이 소요된다고 말합니다. “언제나 고된 작업입니다. 트래킹, 키잉, 로토스코핑, 촬영 요소 복제, 환경에 블렌드하는 등의 작업을 일년에 네다섯 차례 요청 받곤 합니다.”

얼터 에고 팀은 군중을 생성하는 데 동반되는 막대한 후속 작업 없이 스토리텔링의 자유와 창의성을 가져다주는 비용 효율적인 솔루션을 클라이언트에게 제공하고자 했습니다.

이러한 이유로 PXO와 협력하게 되었습니다. 수상 이력을 보유한 비주얼 이펙트 및 버추얼 프로덕션 회사 PXO는 올해 초 HBO 시리즈 위닝 타임: 더 라이즈 오브 더 레이커스 다이내스티(Winning Time: The Rise of the Lakers Dynasty)를 위해 700개가 넘는 VFX 샷을 완성했습니다.

짐작이 가시겠지만 이러한 작업의 90%는 CG 경기장 및 군중 시뮬레이션과 관련된 것이었습니다. PXO 팀은 3D 군중을 생성하는 더 빠르고 효율적인 방법을 찾을 필요가 있다는 것을 깨달았습니다. 영화 및 TV 업계에서 '더 빠르고 효율적인' 것은 게임 엔진 기술의 사용을 의미하는 경우가 많습니다. 그래서 팀은 언리얼 엔진에서 실시간으로 실행 가능하며 LED 볼륨에서도 사용할 수 있는 유연한 군중 툴을 개발했습니다.

케일던 FC 광고를 작업할 기회를 얻게 되었을 때 얼터 에고와 PXO는 이 새로운 툴을 테스트하고 한계까지 밀어붙여야 한다는 것을 알았습니다.

PXO의 최고 혁신 책임자이자 최고 크리에이티브 책임자인 마흐무드 라흐나마(Mahmoud Rahnama)는 말합니다. “PXO와 얼터 에고는 여러 광고 프로젝트에서 협업했습니다. PXO가 HBO의 위닝 타임 첫 시즌을 마무리한 후, 저는 데이비드에게 전통적인 방식으로 VFX 군중 시퀀스를 생성하는 데 난관이 있다고 말했습니다. 데이비드는 저에게 LED 월에서 높은 프레임 레이트로 촬영하는 데 어려움이 있다고 이야기했죠. 바로 이 순간 저희는 각각의 목표를 동시에 이루자고 결심했습니다!”
 

광고는 관중으로 가득 찬 축구 경기장을 배경으로 했기 때문에 군중 작업을 시험하기에 아주 좋은 조건이었습니다. 환호하는 팬들의 무리 앞에서 골을 넣기 전에 상대 팀 선수 여러 명을 제치며 나아가는 한 소년의 액션을 따라갑니다. 이 팬들은 CG지만 시청자는 눈치채지 못할 것입니다. 경기장과 18,000명의 리얼타임 군중 에이전트는 모두 언리얼 엔진에서 생성되었습니다.

리얼타임 크라우드는 굉장히 복잡합니다. 골을 넣으라고 응원하거나 심판의 결정에 야유를 보내는 등 스웜처럼 일제히 같은 행동을 할 수도 있지만, 그러는 동시에 옆에 있는 친구와 떠들거나 과자를 집어먹는 등 개별적으로 움직여야 합니다.

PXO가 개발한 시스템은 이러한 복잡성 속에서 핵심 요소를 다룰 수 있게 해줍니다. 팀은 실시간으로 캐릭터, LOD, 옷, 동작, 밀도를 변경하고 군중이 파도타기를 하도록 만들 수 있습니다. 이것은 시작에 불과합니다. 팀은 툴의 상호작용성을 높여 볼륨 내에서 군중이 실제 퍼포머를 따라가면서 득점에 반응하고 심지어 공을 쫓을 수도 있도록 만들기 위해 작업하고 있습니다.
Pixomondo, alter ego, William F. White Int’l, Virtual Production Academy, Caledon FC 이미지 제공
PXO 군중 시스템은 엔진에서 효율적인 스태틱 메시 인스턴싱을 활용하여 작동합니다. 모든 애니메이션은 본 애니메이션 텍스처를 사용하여 버텍스 셰이더에서 이루어집니다. 이 시스템은 두 부분으로 구성됩니다. 바로 본 애니메이션 텍스처 베이킹과 더불어 모델 및 애니메이션 프로세싱을 위한 Houdini 툴세트, 그리고 크라우드 인스턴스를 생성하고 제어하기 위해 C++로 쓰인 언리얼 엔진 플러그인입니다.

군중이 하나가 되어 움직여야 하는 순간을 위해 시스템은 군중의 다양한 감정을 트리거하는 기능을 지원합니다. 군중 속의 개인에게 사용할 수 있는 100가지 이상의 애니메이션 클립이 있어서 군중 전체를 대상으로 애니메이션을 활성화하거나 한 명에게만 적용할 수도 있습니다. 또한 시스템은 애니메이션 스테이트 간의 원활한 블렌딩을 지원합니다.

화이트슨은 말합니다. “큐에 따라 필요한 대로 정확히 연기하도록 군중을 제어할 수 있는 기능은 정말 굉장합니다. 필드 위에서 펼쳐지는 경기에 따라 사용하기 위해 7가지의 군중 퍼포먼스를 사전에 애니메이팅했습니다. 군중이 응원하길 원할 때에는 이에 해당하는 에셋을 로딩하기만 하면 됐습니다. 이와 마찬가지로, 군중이 자리에 가만히 앉아서 차분하게 있도록 하려면 사전에 애니메이팅한 시뮬레이션을 사용했습니다. 실제 사람이 큐에 따라 다 같이 연기하도록 이끄는 것보다 훨씬 수월했습니다.”
 
Pixomondo, alter ego, William F. White Int’l, Virtual Production Academy, Caledon FC 이미지 제공

PXO 버추얼 프로덕션 매니저 잭 채드윅(Jack Chadwick)은 팀이 리얼타임 CG 크라우드를 개발하면서 언리얼 엔진의 나이아가라 VFX 시스템에 상당히 의존했다고 설명합니다. “언리얼 엔진은 움직임이 있는 리얼타임 군중을 전부 CG로 구현하는 기능에 있어 필수적이었습니다. 반복을 피하면서 실제처럼 느껴지는 군중을 빌드하는 데 나이아가라를 활용할 수 있었습니다. 가장 어려운 과제 중 하나는 정의된 숫자만큼의 캐릭터 애니메이션에 의해 입력된 시뮬레이티드 시스템 내의 리얼타임 군중의 사소한 디테일을 포착하는 것이었습니다.”

PXO는 모션 캡처를 통해 모든 애니메이션을 만들고, 실제 사람들의 3D 스캔으로 군중을 이루는 사람들의 3D 모델을 제작했습니다. 채드윅은 설명합니다. “애니메이션에 충분한 다양성을 부여하여 군중에 생동감을 불어넣기 위해 Xsens 모션 캡처 수트를 입고 많은 시간을 할애했습니다. 언리얼 엔진의 리얼타임 렌더 기능을 통해 반복작업과 빠른 조정이 가능했습니다.”

라흐나마는 말합니다. “이 프로젝트에 참여한 모든 사람은 리얼타임 기술의 지평을 넓히고 영화 제작 문제를 해결하는 새로운 방법을 찾기를 원합니다. 이 광고 작업은 이를 생생하게 증명했습니다. PXO, 얼터 에고, WFW, VPA가 다 함께 협력하여 리얼타임 버추얼 크라우드라는 과제를 극복하고 LED 월에서 슬로우 모션을 촬영하는 더 나은 방법을 알아낼 수 있었습니다. 이러한 성과가 아침에 눈을 뜨고 다음에는 더 큰 목표를 향해 나아가도록 만들어 줍니다. 언리얼 엔진을 활용한다면 할 수 있다고 믿습니다.”

광고 촬영을 위한 LED 스테이지

이 광고는 토론토에 위치한 PXO와 WFW의 버추얼 프로덕션 스테이지 중 하나인 스테이지 6(Stage 6)에서 촬영되었습니다. 186제곱미터에 달하는 이 반원형 볼륨에는 720개의 LED 패널과 175개의 천장 패널이 있습니다. 영화 제작자들은 디지털 방식으로 생성되어 이 LED 월과 천장에 실시간으로 렌더링되는 최첨단 환경에 라이브 액션을 조합하여 활용할 수 있습니다.
Pixomondo, alter ego, William F. White Int’l, Virtual Production Academy, Caledon FC 이미지 제공
LED 월의 등장 이전에는 얼터 에고가 케일던 FC 광고와 같은 프로젝트를 진행하기 위해 50~100명의 사람을 실제 경기장에 데려와 섹션마다 이동하며 촬영한 후 포스트 프로덕션에서 한데 합쳐야 했습니다.

또는 CG로 군중을 생성하고, 영상을 트래킹하고, 전경 에셋을 로토스코핑한 다음 라이팅과 애트머스피어를 일치시켜 하나로 통합해야 했습니다. 화이트슨은 말합니다. “이 두 가지 방법 중 하나로 CG 군중을 만들어야 한다면, 촬영하기 전에 CG 군중을 만들고 언리얼 엔진을 사용하여 LED 월에서 실시간으로 애니메이팅하는 것이 훨씬 낫습니다.”

이렇게 하면 팀은 카메라를 자유롭게 움직일 수 있습니다. 카메라로 포착하는 모든 것이 최종 픽셀이기 때문입니다. 게다가 현실과 LED 월의 환경 사이의 블렌딩은 포스트 프로덕션으로 나온 결과물과는 비교도 되지 않습니다.
이 축구 광고에서 얼터 에고는 CG 경기장 환경에 실제 연기를 촬영한 영상을 삽입하는 동시에 실제 스테이지에도 연기를 채워서 두 요소가 마치 하나의 환경인 것처럼 느껴지게 했습니다. 라이팅에도 동일한 방식이 사용되었습니다.
Pixomondo, alter ego, William F. White Int’l, Virtual Production Academy, Caledon FC 이미지 제공
화이트슨은 말합니다. “언리얼 환경 속 경기장의 조명은 렌즈에서 실제 경기장 조명처럼 반응했습니다. 카메라로 촬영한 선수들의 주변을 감싼 보케와 라이트는 마치 실제 경기장에 있는 것과 같은 사실감을 더해 주었습니다. 다시 한번 말하지만 이런 것들은 포스트 프로덕션에서 복제하기 힘들고 많은 시간이 소요됩니다.”
Pixomondo, alter ego, William F. White Int’l, Virtual Production Academy, Caledon FC 이미지 제공
군중의 규모 때문에 이 프로젝트에서는 기존 영화 제작 방식을 사용하는 것이 실용적이지 않았습니다. 화이트슨은 말합니다. “저희는 실제 로케이션에서 다루기 불가능하다고 여겨지는 것을 이뤄냈습니다. 경기장에서 응원하는 디지털 팬은 18,000명 이상이었습니다. 실제 경기장에서 이렇게 많은 사람을 섭외하는 것은 불가능합니다.”

팀은 언리얼 엔진을 사용하여 360도 전면적인 환경을 만들고 카메라를 움직이는 대신 프레이밍에 적합하도록 이 환경을 LED 월에서 이동시켰습니다. 화이트슨은 설명합니다. “실제 로케이션에서는 진행되고 있는 실제 경기의 느낌을 포착하기 위해 경기장 곳곳의 카메라를 움직여야 합니다. 언리얼 엔진을 사용하여 단 몇 초 만에 손쉽게 경기장의 다양한 구역으로 환경을 회전할 수 있었습니다. 저희는 카메라를 움직이는 데 시간을 소요하는 대신 돌리 트랙을 깔고 월드를 움직였습니다.”
 
Pixomondo, alter ego, William F. White Int’l, Virtual Production Academy, Caledon FC 이미지 제공

채드윅은 LED 스크린으로 작업하는 것이 기존의 기법과 비교하여 엄청난 시간을 절약하게 해준다는 점을 지적했습니다. “LED 볼륨에서 이와 같은 프로젝트를 촬영할 때 얻을 수 있는 대표적인 이점 중 하나는 작업 속도입니다. 실제 경기장에서 이 광고를 촬영한다고 가정해 보면 비용이 많이 들 뿐만 아니라 각 테이크마다 리셋하는 데 많은 시간이 걸릴 것입니다. 언리얼의 리얼타임 렌더 기능을 활용함으로써 한 번의 버튼 클릭만으로 리셋할 수 있었습니다.”

불가능한 촬영을 가능하게 하는 LED 스테이지

화이트슨은 에이전시와 프로덕션 회사가 버추얼 프로덕션 기술과 LED 볼륨에 기대를 걸 이유가 충분하다고 예상합니다.

그는 팀이 현재 언리얼 엔진과 LED 월이 없다면 불가능할 만한 프로젝트를 현재 진행하고 있다고 설명합니다. 스토리상 배경이 되는 계절이 겨울인데 팀은 9월에 촬영을 하고 있습니다. 이때 생각할 수 있는 선택지는 4개가 있습니다.

첫 번째는 현재 겨울인 장소로 멀리 떠나는 것입니다. 매우 값비싼 선택지입니다.

또는 여름이 끝나가는 무렵에 지역 스키 리조트에서 촬영한 다음 포스트 프로덕션에서 전체 배경을 대체할 수도 있습니다. 이렇게 하려면 비용이 많이 들고 포스트 프로덕션에서 많은 시간이 소요됩니다.

세 번째 선택지는 스튜디오 내 블루 스크린에서 촬영하는 것입니다. 화이트슨은 말합니다. “이 방법을 사용하면 스튜디오 라이팅과 3D 포스트 환경을 다뤄야 하며 통합한 결과물이 완벽하지 않습니다. 더불어 납품 일정상 포스트 작업에 매진할 시간이 많지 않죠.”

마지막 선택지는 촬영하기 전에 언리얼 엔진과 LED 스테이지를 활용하여 환경을 제작하는 것입니다. 화이트슨은 말합니다. “저희는 이 마지막 옵션으로 최고의 결과를 달성했습니다. LED 월은 밝기 면에서 매우 강력하여 라이팅에서 좋은 결과를 얻을 수 있습니다.”

“그뿐 아니라 그 어떤 컴포지팅보다도 출연자와 배경 사이의 통합이 한층 우수합니다. 애트머스피어를 사용하거나 세트에 눈이 내리게 할 수도 있습니다. 블루 스크린 환경에서는 불가능한 일이죠. 내리는 눈의 키잉을 시도해 본 적이 있나요? 상상한 만큼 어려운 작업입니다. 예산과 기간을 고려할 때, LED 월이 가장 현명한 방법이었습니다.”

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
    언리얼 엔진 5.3이 출시되었습니다!
    뉴스
    9월 6일

    언리얼 엔진 5.3이 출시되었습니다!

    언리얼 엔진 5.3은 게임 개발자와 다양한 산업 분야의 크리에이터를 위한 UE5의 기능과 잠재력을 지속적으로 확장하기 위해 전반적으로 다양한 개선 사항과 함께 몇 가지 흥미로운 신규 실험 기능을 선보입니다. 새로운 기능을 알아보세요. 
    언리얼 엔진 5.3이 출시되었습니다!
    뉴스

    언리얼 엔진 5.3이 출시되었습니다!

    언리얼 엔진 5.3은 게임 개발자와 다양한 산업 분야의 크리에이터를 위한 UE5의 기능과 잠재력을 지속적으로 확장하기 위해 전반적으로 다양한 개선 사항과 함께 몇 가지 흥미로운 신규 실험 기능을 선보입니다. 새로운 기능을 알아보세요. 
    포트나이트 언리얼 에디터가 공개 베타로 출시되었습니다!
    뉴스
    3월 22일

    포트나이트 언리얼 에디터가 공개 베타로 출시되었습니다!

    포트나이트 언리얼 에디터(UEFN)는 언리얼 엔진의 기능과 포트나이트의 규모를 결합합니다. 개발 툴을 사용하여 지금까지 포트나이트에서 보지 못했던 게임과 경험을 제작하고 수백만 명의 플레이어에게 퍼블리싱하세요. 
    포트나이트 언리얼 에디터가 공개 베타로 출시되었습니다!
    뉴스

    포트나이트 언리얼 에디터가 공개 베타로 출시되었습니다!

    포트나이트 언리얼 에디터(UEFN)는 언리얼 엔진의 기능과 포트나이트의 규모를 결합합니다. 개발 툴을 사용하여 지금까지 포트나이트에서 보지 못했던 게임과 경험을 제작하고 수백만 명의 플레이어에게 퍼블리싱하세요. 
    미디어 및 엔터테인먼트 프로젝트의 새로운 가능성을 열어 주는 언리얼 엔진 5.3
    뉴스
    11월 22일

    미디어 및 엔터테인먼트 프로젝트의 새로운 가능성을 열어 주는 언리얼 엔진 5.3

    이전 버전에서 이루어진 혁신을 기반으로 최근 출시된 언리얼 엔진 5.3은 버추얼 프로덕션 툴세트의 향상과 더욱 확장된 기능들의 개선이 이루어졌으며 차세대 ICVFX 스테이지에 대비하기 위한 토대가 마련되었습니다.
    미디어 및 엔터테인먼트 프로젝트의 새로운 가능성을 열어 주는 언리얼 엔진 5.3
    뉴스

    미디어 및 엔터테인먼트 프로젝트의 새로운 가능성을 열어 주는 언리얼 엔진 5.3

    이전 버전에서 이루어진 혁신을 기반으로 최근 출시된 언리얼 엔진 5.3은 버추얼 프로덕션 툴세트의 향상과 더욱 확장된 기능들의 개선이 이루어졌으며 차세대 ICVFX 스테이지에 대비하기 위한 토대가 마련되었습니다.