Codemasters/Electronic Arts 이미지 제공

Codemasters의 F1 2021 신작에 기록적인 시간으로 시네마틱을 구현한 REALTIME

Ben Lumsden |
2021년 8월 12일
주요 스포츠 게임 프랜차이즈의 미디어 업무를 하다 보면 각종 어려움에 마주하게 됩니다. 그중에서도 팬들의 기대감을 충족하는 게 가장 어려운 일이죠. 축구팬부터 열렬한 레이싱카 매니아에 이르기까지 열성 팬들은 스포츠 게임 관련 콘텐츠에 현재 시즌에 등록된 선수, 키트, 후원자 등 최신 정보가 가능한 한 모두 반영되어 있기를 바랍니다.

스튜디오가 이런 프랜차이즈에 최고급 콘텐츠를 지원하는 작업을 한다면 매우 대단한 것입니다. 심지어 필요한 정보를 마감을 고작 몇 주 앞둔 상태에서 받는 경우도 허다합니다.

레이싱 시즌이 임박하면 참고 자료가 쏟아지기 시작합니다. F1 시네마틱 컷 제작을 진행한 리얼타임(REALTIME) 사는 코드마스터즈(Codemasters)의 최신 프로젝트에서 이런 어려움을 겪게 되었습니다. 그들의 새로운 F1® 2021 게임에 들어갈 '브레이킹 포인트(Braking Point)' 스토리 모드용 콘텐츠를 제작해야 했는데 단 몇 주 만에 2.5시간 분량의 시네마틱 영상을 제작해야 하는 상황이 된 것입니다.


언리얼 엔진으로 효율성이 개선된 워크플로

리얼타임은 자동차 업계에서 사실적인 몰입형 자동차 컨피규레이터를 제작해본 경험이 있기에 실사 CG 차량 제작 지식을 갖춘 크리에이티브 스튜디오입니다.

그런 이유로 리얼타임 팀은 레이싱 게임 F1 2021의 '브레이킹 포인트' 스토리 모드를 위한 35분 분량의 시네마틱 컷씬 5개 제작을 맡게 되었습니다. 컷씬 버전마다 플레이어가 선택할 수 있는 각기 다른 브랜드와 색상, 유니폼을 갖춘 팀을 보여줍니다.
Codemasters/Electronic Arts 이미지 제공
리얼타임의 프로젝트 디렉터 이안 존스(Ian Jones)는 말합니다. "저희는 먼저 빌드 작업을 유연하게 하면서 프로젝트 막바지에 에셋 룩을 근본부터 바꿀 수 있도록 준비해야 했습니다. 결국, 이러한 컷씬은 몇 달 동안은 시작하지도 않을 F1 시즌을 반영해야 했으니까요. 납품하기 2개월 전까지는 차량이나 유니폼의 모습조차 알지 못했습니다. 모두 일급 비밀이었으니까요!"

컷씬의 3분의 2 정도는 CG 주인공이 등장하는 캐릭터 기반의 드라마였고, 3분의 1은 자동차 경주와 차량 충돌이 있는 트랙 액션 씬이었습니다.
Codemasters/Electronic Arts 이미지 제공
존스는 2020년 3월의 프리 프로덕션 때부터 영상을 납품한 2021년 5월까지 프로젝트에 참여했습니다. 존스는 회상합니다. "대본이 도착하자 창작 프로세스에 속도가 붙었죠. 그때부터 프로젝트에 전적으로 매달리게 됐습니다."

레이싱 게임 개발사인 코드마스터즈는 각 캐릭터의 인물 소개와 함께 성격과 외모에 대한 지침도 제공했습니다. 따라서 제일 먼저 할 작업은 캐스팅이었죠. 리얼타임에서는 실제 촬영에서 주요 캐릭터 역할을 맡을 배우와 라이브 액션 감독을 섭외했고 그동안 존스는 프로젝트의 기술적 측면에 집중했습니다.
Codemasters/Electronic Arts 이미지 제공
존스는 나흘 반 동안 순조롭게 촬영을 마친 후, 캡처 장면을 토대로 블록아웃과 프리비즈를 다시 만들어야 했습니다. 팀은 프록시 캐릭터에 로딩된 데이터로 레이아웃을 잡았습니다. 그런 다음, 모든 카메라를 업데이트한 상태로 3D 편집 장면을 만들었습니다. 이때부터 모두가 참여할 수 있었습니다. 캐릭터는 제자리에 배치되었고 카메라도 정확하게 셋업됐으며 편집본도 마련되었죠. 이 시점에서 팀은 3ds Max와 Premiere로만 작업했습니다.

이렇게 만든 씬은 애니메이터에게 전달되었습니다. 애니메이터가 수정 및 클린업 작업을 시작하자, 리얼타임에서는 이 데이터를 언리얼 엔진으로 넘겼습니다. 존스는 설명합니다. "엔진에 스켈레탈 메시를 갖춘 캐릭터를 퍼블리싱했습니다. 이 캐릭터는 몸과 얼굴 모양을 모두 갖추고 있어 애니메이터용 모션 캡처를 받을 수 있었죠."

모델러는 기존 파이프라인으로 작업을 시작했습니다. 즉, 3ds Max와 Z-Brush에서 전체 프로젝트를 모델링한 다음, 전체 레이아웃을 하나의 커다란 씬으로 언리얼 엔진에 임포트하는 방식을 취했습니다. 존스는 말합니다. "모델러들은 언리얼 엔진에서 씬 전파와 세트 드레싱이 훨씬 빠르다는 사실을 금세 알았죠."

결과적으로 모델러들은 3ds Max에서 씬의 뼈대를 구축한 다음, 언리얼 엔진으로 테이블, 의자, 우산 등 다양한 씬의 소품을 배치하는 세트 드레싱 작업을 처리합니다. 존스는 말합니다. "언리얼 엔진은 모델러에게 아주 유용한 툴이었습니다."
Codemasters/Electronic Arts 이미지 제공
또한, 팀에서는 캐릭터 템플릿을 만들 때도 게임 엔진을 사용하면 효율적이라는 사실을 알게 되었습니다. 존스는 말합니다. "언리얼 엔진의 구조와 이 엔진이 게임 디자인 기반이었기 때문에, 모두 같은 스켈레탈 메시를 공유하는 캐릭터 라이브러리를 구축할 수 있었습니다. 그런 다음에는 캐릭터를 선택해서 씬에 배치하고 퍼포먼스 애니메이션을 로딩할 수 있었죠. 그 덕분에 언리얼 엔진 프로세스와 씬 개발을 정말 쉽게 처리할 수 있었습니다."

또한, 팀에서 첫 번째 버전의 레이싱팀을 완성하면, 상대적으로 쉽게 다른 레이싱팀으로 교체할 수 있었습니다.

존스는 말합니다. "교체할 에셋을 UE4에 모두 생성하고 퍼블리싱하고 나면, 몇 번의 클릭으로 한 팀의 캐릭터를 다른 팀 캐릭터로 교체하고 애니메이션도 같은 걸 적용할 수 있었죠. 유일하게 어려웠던 점은 배경이 밝은 흰색의 차고에서 어두운 회색이나 검은색 배경의 차고로 바뀐 까닭에 팀에서는 캐릭터에 적절한 라이팅을 주기 위해 씬의 라이팅을 대부분 다시 조정해야 했다는 점입니다. 하지만 이것도 모두 실시간으로 처리했습니다."


퍼포먼스 캡처 및 리얼타임 렌더링

이 프로젝트의 프로세스 대부분은 리얼타임에게 이미 익숙한 편이었지만, 30분이 넘는 애니메이션 컷씬을 만드는 건 규모 면에서 커다란 변화였습니다.

존스는 말합니다. "씬 개발, 라이팅, 캐릭터, 렌더링의 양만 봐도 언리얼 엔진이 없었다면 어림없었겠죠. 예전이었다면 그 정도 분량은 제 시간에 렌더링할 수 없었거든요."
Codemasters/Electronic Arts 이미지 제공
팀은 35분짜리 컷씬 5개를 납품일로부터 6주 전에 버전 1개를 납품하고 나머지 버전 4개는 납품일에 제출해야 했습니다. 존스에게 리얼타임 렌더링이 아닌 다른 방법으로 이러한 작업을 수행하는 것은 상상할 수도 없는 일이었습니다. 존스는 말합니다. "말 그대로 마지막 몇 주 동안 2.5시간 분량의 추가 영상을 렌더링한 겁니다."

"렌더를 다시 조작할 필요가 없으니 복잡한 컴포짓 프로세스를 피할 수 있었죠. CPU 렌더링을 사용했다면 여러 레이어로 렌더링하고 컴포짓 과정에서 많은 작업을 했을 겁니다. 즉, 눈속임을 많이 해야 했겠죠. 하지만 UE4에서는 한 번에 멋진 패스로 렌더링할 수 있습니다."

프로젝트의 또 다른 필수 요건은 최상급의 퍼포먼스 캡처를 통해 제작하는 것이었습니다. 존스는 설명합니다. "저희가 코드마스터즈에 어필한 부분 중 하나는 최선의 결과를 얻으려면 최정상급으로 퍼포먼스를 캡처해야 한다는 점이었습니다."

팀에서는 바디 모션 캡처, 페이셜 모션 캡처, 오디오를 전부 동시에 수행할 연기자를 원했습니다. 또한, 세계 최고의 페이셜 퍼포먼스 캡처 회사인 DI4D가 헤드 마운트 카메라(HMC) 시스템을 가지고 있다는 걸 알았기에 그들과 접촉해 그 시스템의 수준이 어느 정도인지 알아보기로 했습니다.

존스는 말합니다. "다행히 그쪽에는 PURE4D라는 최신 시스템이 있었는데, 그들도 그 성능을 시험해 보고 싶어 했어요. 함께 일하기에 정말 좋은 기회였죠.”

배우가 의자에 앉아 전에 했던 연기를 무언극으로 다시 연기하는 게 아니라, 전체 퍼포먼스를 한 번에 해버렸습니다. 존스는 말합니다. "저희는 DI4D의 HMC를 사용했습니다. 이건 움직임을 줄이기 위해 머리에 장착하는 헬멧인데, 머리 앞쪽으로 붐 1개가 뻗어 있고 카메라 2대와 조명 1개가 달려 있죠. 이 카메라 2대는 의료기 등급의 고해상도 디지털 카메라입니다. 모션 캡처 수트의 경우, 보통 모션을 묘사하기 위해 신체 여러 부위에 마커가 있는데, 이 카메라는 모공까지 포착할 수 있습니다."

이 카메라의 영상은 무압축 2K RAW 파일로 출력됩니다. 시스템은 두 카메라 사이에서 이 모든 포인트와 함께 얼굴을 삼각 측량하고 60fps로 스캔을 완성합니다.

존스는 설명합니다. "전통적으로 그 시스템은 포인트 캐시를 출력하는데, 그건 사전 렌더링된 데이터에는 괜찮지만, 언리얼에는 다소 무겁습니다. DI4D는 저희와 시험해 보고 싶은 신기술을 가지고 있었어요. 일종의 하이브리드인데, 스캔 데이터와 안면 인식을 조합하여 모프 타깃을 구동하는 기술이었죠."

이 모프 타깃 기반 시스템은 언리얼 엔진과 호환되었습니다. 그래서 팀에서는 커다란 Alembic 캐시 파일을 3ds Max에서 언리얼 엔진에 옮길 필요 없이, 애니메이션 데이터를 임포트하여 언리얼 엔진 내에서 블렌드 셰이프를 원하는 만큼 결합하고 구동함으로써(모프 타깃도 알려져 있으므로) 각 프레임에 필요한 장면을 표현할 수 있었습니다. 존스는 말합니다. "Alembic에서 키를 지정하는 블렌드 셰이프로 근본적으로 변화하면서 전체 프로세스를 관리하기가 더 쉬워졌고 덕분에 전체 언리얼 파이프라인이 무사히 진행될 수 있었습니다."
Codemasters/Electronic Arts 이미지 제공

빠르고 유연한 워크플로

2021 포뮬러 원 시즌의 핵심 정보는 이 프로젝트의 출시 몇 달 전까지 알 수가 없었습니다. 리얼타임에서는 마지막 몇 달을 남기고 압박이 심해질 것을 늘 예상하고 있었습니다. 처음부터 씬의 추가 버전 납품을 예상하고 있었기 때문입니다. 리얼타임은 다른 프로젝트들과는 달리 디자인이나 비주얼을 프로젝트 초기에 확정할 수 없었습니다.

리얼타임에게는 마지막 순간에 정확한 에셋으로 무사히 교환할 수 있는 유연성이 반드시 필요했습니다. 모든 레이싱 액션은 일반적인 하이브리드 차량으로 제작할 수밖에 없었습니다. 왜냐하면 납품 직전까진 최종 차량이 어떤 모습일지 알 수 없었기 때문이죠.
Codemasters/Electronic Arts 이미지 제공
존스는 회상합니다. "유니폼의 경우 코드마스터즈에서 어떤 모습일지 최대한 예측해서 알려줬어요. 그래도 어쨌든 2021년 3월에 제조업체들이 레이싱카와 브랜드를 공개하기 전까지는 확실히 알 수 없었습니다. 그때까지는 물리적으로 정확한 디자인이 불가능했습니다. 즉, 10개월 동안 최종 참고 자료를 받지 못한 상태로 프로젝트를 진행했다는 뜻이죠."

작업을 제시간에 마치는 데는 리얼타임 렌더링 기술의 속도와 유연성이 매우 중요했습니다. 존스는 말합니다. "UE4 툴세트는 이런 작업을 할 수 있도록 설계되었습니다. 에셋 라이브러리와 에셋 풀이 있어서 에셋을 검색하고, 필요한 캐릭터를 얻고, 거기에 애니메이션을 로딩하고, 실시간으로 피드백을 받을 수 있어 정말 큰 도움이 됐습니다. UE4에서 프로젝트를 빌드하고 그걸 이용해 씬을 개발하고 라이팅을 셋업하고 즉각적인 피드백을 얻은 덕분에 프로젝트를 무사히 끝낼 수 있었습니다."
Codemasters/Electronic Arts 이미지 제공
리얼타임 팀은 시퀀서를 광범위하게 사용했고 파이썬(Python)으로 각 장면의 샷을 설정했습니다. 파이썬은 샷그리드(ShotGrid)와 통신하며 최신 애니메이션이 사용되었는지 확인하고 정보를 얻은 후 각 시퀀스를 빌드했습니다. 모든 샷은 언리얼 엔진용 Deadline 플러그인의 초기 버전을 사용하여 렌더링되었습니다. 존스는 말합니다. "레이 트레이싱도 집중적으로 사용했어요. 나오는 게 죄다 번쩍이는 자동차라서 저희도 그런 현실적인 환경을 만들려고 했죠."
Codemasters/Electronic Arts 이미지 제공
팀에서는 유니폼 변경이 자유로운 컴포넌트 기반 캐릭터 조립 및 자동차 조립부터 군중 생성/관리에 이르기까지 전 작업에 블루프린트 비주얼 스크립팅을 사용했습니다. 존스는 말합니다. "팀에 프로그래머가 많지 않았습니다. 그래서 아티스트가 블루프린트에 정의된 보편적 규칙들을 따르도록 각 캐릭터를 설정하는 게 중요했죠."

예를 들어, 블루프린트 덕분에 팀원들은 샷을 담당한 아티스트가 원하는 대로 유니폼과 의상을 교체할 수 있도록 캐릭터를 미리 설정할 수 있었습니다. 이렇게 하면 뭔가 잊어버리거나 잘못 배치할 염려가 없습니다.

존스는 말합니다. "프로젝트 막바지에 특히 요긴했습니다. 막판에는 각종 유니폼을 정말 빠르게 렌더링해야 했거든요. 그리고 UE4의 헤어와 그룸 시스템이 없었다면 이 프로젝트를 구상할 수도 없었을 겁니다. 프로젝트 초기에는 실험 단계에 있던 시스템이었는데 다행히 프로젝트 도중에 정식으로 출시됐죠."

이제 정식 버전이 출시된 엔진의 헤어 앤 퍼 시스템이 얼마나 발전했는지는 웨타 디지털(Weta Digital)의 단편 영화로 확인해 볼 수 있습니다.

한계는 없다

리얼타임은 항상 자신들의 고퀄리티 렌더링에 자부심을 품어왔습니다. 팀에서는 게임을 전적으로 대표하는 비주얼을 만들면서 처음 언리얼 엔진을 사용하기 시작했습니다. 예를 들어, 레어(RARE)의 많은 작업이 게임 개발사의 게임과 매끄럽게 연결되어야 했기에 언리얼 엔진을 택한 것은 고객의 선택과도 맞는 최상의 선택이었습니다.

존스는 말합니다. "F1 2021은 저희가 CPU 렌더러 대신 UE4를 사용한 첫 번째 주요 시네마틱 프로젝트였습니다. 그런 결정을 내릴 수 있었던 이유는 헤어와 레이 트레이싱이 가능하고 이미지 퀄리티가 놀라웠기 때문이죠. 비록 게임이었지만 한계가 없었으므로 코드마스터즈에서 요구하는 고퀄리티를 맞출 수 있었습니다."

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
    이벤트
    9월 13일

    언리얼 서밋 온라인 2021에 초대합니다!

    모든 산업의 크리에이터를 위한 언리얼 서밋 온라인 2021에서 여러분의 창의력을 실현시킬 수 있는 무한한 영감을 얻어보세요!
    이벤트

    언리얼 서밋 온라인 2021에 초대합니다!

    모든 산업의 크리에이터를 위한 언리얼 서밋 온라인 2021에서 여러분의 창의력을 실현시킬 수 있는 무한한 영감을 얻어보세요!
    뉴스
    8월 19일

    언리얼 엔진 4.27이 출시되었습니다!

    모든 산업의 크리에이터들이 환영할 새 버전을 소개합니다. 차세대 인카메라 VFX는 효율성, 퀄리티, 사용 편의성이 향상되었고, 멋진 최종 이미지를 위한 패스 트레이싱, 이제 엔진 내에서 기본으로 제공되는 우들 및 빙크, 픽셀 스트리밍의 정식 버전 등 주요 기능이 추가되었습니다.
    뉴스

    언리얼 엔진 4.27이 출시되었습니다!

    모든 산업의 크리에이터들이 환영할 새 버전을 소개합니다. 차세대 인카메라 VFX는 효율성, 퀄리티, 사용 편의성이 향상되었고, 멋진 최종 이미지를 위한 패스 트레이싱, 이제 엔진 내에서 기본으로 제공되는 우들 및 빙크, 픽셀 스트리밍의 정식 버전 등 주요 기능이 추가되었습니다.
    뉴스
    8월 4일

    2021 Epic MegaJam 등록이 시작되었습니다!

    게임 개발 산업과 협업의 정신을 기념하는 2021 에픽 메가잼이 시작되었습니다. 팀을 결성하여 새로운 게임을 만들어 보세요. 커뮤니티에서도 분명 여러분의 노력의 결실을 함께 즐길 겁니다!
    뉴스

    2021 Epic MegaJam 등록이 시작되었습니다!

    게임 개발 산업과 협업의 정신을 기념하는 2021 에픽 메가잼이 시작되었습니다. 팀을 결성하여 새로운 게임을 만들어 보세요. 커뮤니티에서도 분명 여러분의 노력의 결실을 함께 즐길 겁니다!