FIFA World Cup에서 채택한 리얼타임 기법: 브로드캐스트에 사용한 비법 공개

UEFN: 포트나이트를 위한 언리얼 엔진 에디터

2023년 4월 5일

전 세계 32개국에서 최고의 선수들이 출전하는 2022 FIFA 월드컵(2022 FIFA World Cup)은 ‘아름다운 게임’의 진수를 보여줍니다. 카타르에서 현장 관중이 340만 명이 관람하였고, FIFA에서 추정한 바에 따르면 15억 명의 사람들이 아르헨티나 vs. 프랑스의 결승전을 시청했으며, 약 60억 명이 소셜 미디어에서 월드컵을 주제로 이야기꽃을 피웠다고 합니다.

뉴욕에 소재한 크리에이티브 스튜디오 케에시프레임(KéexFrame)의 팀도 월드컵 당시 경기를 시청한 관중 중 하나였습니다. 월드컵은 그들의 삶에서 특별한 부분을 차지해 왔습니다. 그래서 이처럼 권위 있는 대회의 정신을 기리는 브로드캐스트 시네마틱을 제작할 기회를 놓칠 수 없었습니다.

프로젝트는 원래 TV 방송사의 의뢰를 받아 시작한 프로젝트가 아니었기 때문에, 팀은 이를 애니메이션 캐릭터와 시네마틱 스토리텔링과 같이 생방송에서 일반적으로 사용하지 않는 새로운 툴과 콘셉트를 사용할 기회로 삼았습니다. 이 전략은 성공을 거두었고, NBC유니버설 텔레문도(NBCUniversal Telemundo)에서 이 브로드캐스트 시네마틱을 FIFA 월드컵 카타르 2022 방송에 사용했습니다.

콘셉트 구상부터 결과물 탄생까지의 과정을 상세히 살펴보겠습니다.

브로드캐스트 시네마틱 콘셉트 구상 단계

케에시프레임에서 중요시한 것은 월드컵의 열기를 담아내는 동시에 어떤 국적이라도 대변할 수 있는 캐릭터를 만드는 것이었습니다. 그들은 거대한 콜로세움 아레나에 입장하는 그리스 전사에게서 영감을 받아, 선수들을 세기의 전투에서 맞닥뜨린 현대의 검투사로 묘사했습니다.

KéexFrame 이미지 제공

무드 보드 및 스타일 프레이밍

케에시프레임은 콘셉트를 정한 후 무드 보드와 스타일 프레이밍 단계로 넘어갔습니다. 팀에서 좋아하는 다른 애니메이션 작품으로부터 수많은 참고 자료를 조사하여 모은 다음, 장면의 무드를 반영할 프레임 초안이 충분히 나올 때까지 스케치 반복작업을 수행했습니다.

KéexFrame 이미지 제공

생방송 프로덕션 시간은 일반적으로 짧기 때문에, 팀은 언리얼 엔진에서 바로 스타일 프레이밍을 수행하여 라이팅과 애트머스페릭 요소를 동시에 정의할 수 있었습니다. 그런 다음에는 엔진 밖에서 최종 룩의 프레임을 생성하기만 하면 되었습니다.

케에시프레임은 제일 먼저 트로피 모델을 작업했는데, 그 이유는 트로피가 오프닝 시네마틱에서 매우 중요한 요소라고 생각했기 때문입니다. 먼저 라이브러리에서 모델을 구매해 리토폴로지 작업을 한 후 Substance Painter로 PBR 텍스처를 처음부터 제작했습니다. 머티리얼의 이미시브 어트리뷰트에 연결된 Fresnel 노드를 사용하여 셰이더를 생성했고, 이를 통해 트로피의 모서리와 특징적인 부분에 글로우를 더했습니다.

KéexFrame 이미지 제공

팀은 언리얼 엔진에서 라이팅과 환경을 실시간으로 조정하면서 동시에 트로피 모델을 작업했습니다. 블로킹 단계를 함께 진행하고 있었으므로, 케에시프레임은 그들이 목표로 했던 개념 증명이 될 스타일 프레임을 정의할 수 있었습니다. 팀은 이러한 스타일 프레임을 제작한 후 Photoshop에서 약간의 색 보정만 거치면 언리얼 엔진에서 의도한 모습을 얻을 수 있음을 알았습니다.

KéexFrame 이미지 제공

블로킹 및 애니메이션

수많은 팬으로 가득 찬 거대한 경기장의 분위기와 전 세계를 무대로 뛰는 선수들이 느낄 흥분을 전달하기 위해, 케에시프레임은 독특한 건축물인 알자누브 스타디움(Al Janoub Stadium)과 경기장으로 다가가는 선수들 및 환호하는 대중의 모습을 설정 샷(establishing shot)에 담아내는 것으로 시작했습니다.

팀은 시퀀서를 통해 몇 가지 버전을 빠르게 반복작업하고 추가적인 카메라 샷을 생성하면서 적절한 속도로 스토리를 전달할 수 있었습니다. 케에시프레임의 CEO 아르투로 브레나(Arturo Brena)는 말합니다. “저희는 언리얼 펠로우십: 스토리텔링 수업에서 많은 것을 배웠고, 학습 내용을 이 프로세스에 상당히 많이 활용했습니다.”

KéexFrame 이미지 제공

블로킹 단계에서 이 정도 수준의 유연성을 갖추게 되자 초반부터 언리얼 엔진 마네킹으로 선수에게 애니메이션을 추가할 수 있게 되었고, 이 마네킹은 후에 커스텀 메타휴먼으로 대체했습니다. 특히 애니메이션을 통합할 때 카메라를 정확하게 블로킹하는 데 아주 도움이 되었습니다.

KéexFrame 이미지 제공

선수 생성하기

케에시프레임은 캐릭터를 생성할 때 월드컵 황금 트로피의 거친 외형과 텍스처에서 영감을 얻었습니다.

아르투로는 말합니다. “저희는 헤드 모델부터 생성을 시작했습니다. 그리스 조각상을 닮았지만 인간에 더 가까운 느낌을 내야 했죠. 그런 다음 다른 베이스 모델과 결합하여 양쪽의 특성을 섞어 최종 버전을 생성했습니다.”

만족스러운 헤드 셰이프를 완성한 후에 메시 투 메타휴먼 툴을 사용하여 모델에서 메타휴먼을 생성했습니다.

KéexFrame 이미지 제공

손으로 금을 조각한 느낌을 내기 위해, 팀은 Adobe Substance 3D를 사용하여 바디와 클로딩에 디테일한 셰이딩을 추가했습니다. 금의 모든 요소에는 하나의 마스터 머티리얼이 사용되었고, 여기에 아트를 완전히 디렉팅할 수 있는 충분한 기능을 추가하여, 금 표면에서 강조할 위치에 따라 샷을 구체적으로 수정할 수 있게 되었습니다.

KéexFrame 이미지 제공

애니메이션 리타기팅

애니매틱이 승인된 후, 팀은 커스텀 메타휴먼에 적용할 수 있는 애니메이션을 생성하는 프로세스를 시작했습니다. 케에시프레임은 메타휴먼 컨트롤 릭을 통해 리타기팅 후에 쉽게 애니메이션을 수정할 수 있었습니다. 다양한 수준의 세기, 인텐션, 타이밍으로 여러 번 반복작업하며 모션을 생성했습니다.

KéexFrame 이미지 제공

동일한 스켈레톤으로 모든 메시를 구동했기 때문에, 메타휴먼을 신속하게 수정하면서 여러 가지 축구화와 양말을 보여주는 효과도 낼 수 있었습니다. 각 베리에이션은 캐릭터에게 고유한 개성을 부여하는 유용한 방법임이 입증되었습니다. 캐릭터를 완성한 후에는 알맞은 라이팅과 셰이딩을 사용하여 실시간으로 평가하면서 승인 과정을 촉진할 수 있었습니다.

클로스 시뮬레이션

축구 경기에서 깃발을 흔들어 본 적이 있다면, 자신이 좋아하는 팀이나 국가를 응원할 때 깃발의 천이 바람에 나풀대는 모습이 얼마나 기운을 북돋는지 잘 아실 것입니다. 케에시프레임은 Autodesk Maya를 사용하여 Alembic 캐시 형식의 결과물을 언리얼 엔진에 임포트하여 각 깃발의 움직임을 시뮬레이션하고 강조했습니다. 시퀀서로 캐시 타이밍을 재조정하여 변수 타이밍을 맞춘 덕분에 샷에 많은 드라마적인 요소를 추가할 수 있었습니다.

KéexFrame 이미지 제공

선수들의 옷은 클로스 시뮬레이션을 통해 사실성을 높일 또 하나의 기회였습니다. 팀은 메타휴먼 베이스 캐릭터를 Marvelous Designer에 추가하여 각 모델에 맞는 핏을 부여했습니다. 그런 다음, 독립된 애니메이션 클립을 FBX 모델로 익스포트하여 클로스 시뮬레이션 프로세스를 수행할 준비를 했습니다. 준비를 마친 후 모델을 언리얼 엔진에서 사용할 수 있는 Alembic 캐시로 익스포트했습니다. 이 Alembic 메서드가 유용하긴 했지만, 지금은 네이티브 언리얼 엔진 클로딩으로 마이그레이션하고 있습니다.

KéexFrame 이미지 제공

라이팅 및 렌더링

케에시프레임은 검투사 콘셉트를 유지하기 위해 액션 가득한 콜로세움의 느낌을 표현할 라이팅 스타일과 분위기가 필요했습니다. 아르투로는 말합니다. “저희는 라이팅으로 씬 하나를 살릴 수도, 망칠 수도 있다고 굳게 믿습니다. 그래서 구도를 스마트하고 창의적으로 활용해야 했습니다.”

루멘의 다이내믹 글로벌 일루미네이션은 현실적인 분위기를 자아내고 디렉셔널 라이트, 렉트 라이트, 스포트 라이트의 세부적인 라이팅에 집중할 수 있는 완벽한 기반이 되었습니다. 팀은 안개 낀 효과를 내기 위해 익스포넨셜 하이트 포그 및 스카이 애트머스피어 이펙트를 사용했습니다. 모든 라이트 소스에는 특정 볼류메트릭 영향 값이 있어서 경기장의 일반적인 라이팅 룩을 시뮬레이션할 수 있었습니다.

KéexFrame 이미지 제공

저 아름답게 반짝이는 금색 톤은 모두 언리얼 엔진의 리얼타임 하드웨어 레이 트레이스드 리플렉션에 많은 영향을 받았습니다. 아르투로는 말합니다. “퍼포먼스에 꽤 많은 부담을 줄 수 있지만 정밀도 때문에 저희가 애용하는 솔루션입니다.”

KéexFrame 이미지 제공

팀은 최종 고퀄리티 렌더 세팅에 콘솔 변수를 사용하여 퍼포먼스와 퀄리티 사이의 균형을 맞추기로 했습니다. 또한 강력한 포스트 프로세스 볼륨 이펙트를 이용하여 모든 라이트 소스의 글로우와 렌즈 플레어를 강화했습니다.

리얼타임 프로덕션 및 인터랙션

이 프로젝트의 주요 목표 중 하나는 시네마틱 룩을 가진 브로드캐스트 애니메이션을 제작하면서 생방송용 편집 기능도 유지하는 것이었습니다. 이 목표가 중요했던 이유는 방송사의 네트워크 그래픽 부서가 팀 이름 등의 데이터/정보 요소를 마지막까지 수정할 수 있고 오프닝 시네마틱의 온디맨드 버전을 여러 가지로 제작할 수 있기 때문입니다.

케에시프레임은 단일 컨트롤 블루프린트로 각 팀의 모든 비주얼 요소를 드롭다운 메뉴에서 수정하는 시스템을 고안했습니다. 아르투로는 말합니다. “저희는 작업을 간단하게 만들고 싶었습니다. 팀을 선택해서 렌더링을 위해 전송하는 수준으로, 혹은 필요에 따라 라이브로 재생하는 수준으로 말입니다. 그래서 데이터 테이블을 사용하여 각 팀의 텍스처, 색상 등 수정 가능한 모든 값을 참조할 수 있는 블루프린트를 생성했습니다.”

KéexFrame 이미지 제공

케에시프레임은 또한 프로듀서가 언리얼 엔진이나 그래픽 작업에 관한 일반적인 지식이 없더라도 네트워크의 어디에서든 오프닝 시네마틱을 수정할 수 있도록 지원하고자 했습니다. 이를 위해 팀은 언리얼 엔진용 리모트 컨트롤 플러그인을 사용하여 웹 기반으로 팀을 수정하거나 렌더링 프로세스를 시작하는 방법을 개발할 수 있었습니다.

아르투로는 말합니다. “리모트 컨트롤은 뉴스와 스포츠처럼 편집이 언제 필요할지 모르는 생방송 환경에 필수적인 툴입니다. 이 기능은 편집의 주도권을 그래픽 팀이 아닌 제작진에게 부여하므로, 생방송 시 효율성이 매우 향상됩니다.”

KéexFrame 이미지 제공

NBC유니버설 텔레문도의 FIFA 월드컵 카타르 2022 방송이 진행될 때 이 기능은 정말 요긴했습니다. 경기가 생중계되기 몇 시간 전에 팀이 선택되는 경우가 많았기 때문입니다.

브로드캐스트 시네마틱의 미래

케에시프레임의 작업은 스토리텔링 차원에서도 성공적이었지만, 브로드캐스트 프로덕션 차원에서도 새로운 지평을 제시합니다. 관중들은 스포츠 그래픽에 익숙하지만, 그동안 많은 팀이 리얼타임 렌더링을 이용하지 못해 비주얼 측면에서 절충안을 마련해야 했습니다.

언리얼 엔진과 같은 툴을 사용하면 이처럼 동일한 프로덕션 환경에서 레이 트레이싱, 모션 블러, 글로벌 일루미네이션과 같은 양질의 고급 기능을 더 자유로이 사용할 수 있으므로 시청자의 눈이 즐거운 시네마틱 룩을 더 많이 제작할 수 있습니다. 케에시프레임은 여기서 고객에게 더 큰 가치를 제공할 기회를 발견했습니다.

아르투로는 말합니다. “고급 브로드캐스트 시네마틱은 특히 스토리텔링을 강조하는 점 때문에 저희의 미래 전략에서 핵심 요소로 자리 잡고 있습니다. 앞으로 어떤 일이 일어날지 정말 기대됩니다!”

지금 언리얼 엔진을 다운로드하세요!

세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.

지금 시작하기