Codemasters의 F1 2021 신작에 기록적인 시간으로 시네마틱을 구현한 REALTIME

리얼타임의 프로젝트 디렉터 이안 존스(Ian Jones)는 말합니다. "저희는 먼저 빌드 작업을 유연하게 하면서 프로젝트 막바지에 에셋 룩을 근본부터 바꿀 수 있도록 준비해야 했습니다. 결국, 이러한 컷씬은 몇 달 동안은 시작하지도 않을 F1 시즌을 반영해야 했으니까요. 납품하기 2개월 전까지는 차량이나 유니폼의 모습조차 알지 못했습니다. 모두 일급 비밀이었으니까요!"

컷씬의 3분의 2 정도는 CG 주인공이 등장하는 캐릭터 기반의 드라마였고, 3분의 1은 자동차 경주와 차량 충돌이 있는 트랙 액션 씬이었습니다.

존스는 나흘 반 동안 순조롭게 촬영을 마친 후, 캡처 장면을 토대로 블록아웃과 프리비즈를 다시 만들어야 했습니다. 팀은 프록시 캐릭터에 로딩된 데이터로 레이아웃을 잡았습니다. 그런 다음, 모든 카메라를 업데이트한 상태로 3D 편집 장면을 만들었습니다. 이때부터 모두가 참여할 수 있었습니다. 캐릭터는 제자리에 배치되었고 카메라도 정확하게 셋업됐으며 편집본도 마련되었죠. 이 시점에서 팀은 3ds Max와 Premiere로만 작업했습니다.

이렇게 만든 씬은 애니메이터에게 전달되었습니다. 애니메이터가 수정 및 클린업 작업을 시작하자, 리얼타임에서는 이 데이터를 언리얼 엔진으로 넘겼습니다. 존스는 설명합니다. "엔진에 스켈레탈 메시를 갖춘 캐릭터를 퍼블리싱했습니다. 이 캐릭터는 몸과 얼굴 모양을 모두 갖추고 있어 애니메이터용 모션 캡처를 받을 수 있었죠."

모델러는 기존 파이프라인으로 작업을 시작했습니다. 즉, 3ds Max와 Z-Brush에서 전체 프로젝트를 모델링한 다음, 전체 레이아웃을 하나의 커다란 씬으로 언리얼 엔진에 임포트하는 방식을 취했습니다. 존스는 말합니다. "모델러들은 언리얼 엔진에서 씬 전파와 세트 드레싱이 훨씬 빠르다는 사실을 금세 알았죠."

결과적으로 모델러들은 3ds Max에서 씬의 뼈대를 구축한 다음, 언리얼 엔진으로 테이블, 의자, 우산 등 다양한 씬의 소품을 배치하는 세트 드레싱 작업을 처리합니다. 존스는 말합니다. "언리얼 엔진은 모델러에게 아주 유용한 툴이었습니다."

팀은 35분짜리 컷씬 5개를 납품일로부터 6주 전에 버전 1개를 납품하고 나머지 버전 4개는 납품일에 제출해야 했습니다. 존스에게 리얼타임 렌더링이 아닌 다른 방법으로 이러한 작업을 수행하는 것은 상상할 수도 없는 일이었습니다. 존스는 말합니다. "말 그대로 마지막 몇 주 동안 2.5시간 분량의 추가 영상을 렌더링한 겁니다."

"렌더를 다시 조작할 필요가 없으니 복잡한 컴포짓 프로세스를 피할 수 있었죠. CPU 렌더링을 사용했다면 여러 레이어로 렌더링하고 컴포짓 과정에서 많은 작업을 했을 겁니다. 즉, 눈속임을 많이 해야 했겠죠. 하지만 UE4에서는 한 번에 멋진 패스로 렌더링할 수 있습니다."

프로젝트의 또 다른 필수 요건은 최상급의 퍼포먼스 캡처를 통해 제작하는 것이었습니다. 존스는 설명합니다. "저희가 코드마스터즈에 어필한 부분 중 하나는 최선의 결과를 얻으려면 최정상급으로 퍼포먼스를 캡처해야 한다는 점이었습니다."

팀에서는 바디 모션 캡처, 페이셜 모션 캡처, 오디오를 전부 동시에 수행할 연기자를 원했습니다. 또한, 세계 최고의 페이셜 퍼포먼스 캡처 회사인 DI4D가 헤드 마운트 카메라(HMC) 시스템을 가지고 있다는 걸 알았기에 그들과 접촉해 그 시스템의 수준이 어느 정도인지 알아보기로 했습니다.

존스는 말합니다. "다행히 그쪽에는 PURE4D라는 최신 시스템이 있었는데, 그들도 그 성능을 시험해 보고 싶어 했어요. 함께 일하기에 정말 좋은 기회였죠.”

배우가 의자에 앉아 전에 했던 연기를 무언극으로 다시 연기하는 게 아니라, 전체 퍼포먼스를 한 번에 해버렸습니다. 존스는 말합니다. "저희는 DI4D의 HMC를 사용했습니다. 이건 움직임을 줄이기 위해 머리에 장착하는 헬멧인데, 머리 앞쪽으로 붐 1개가 뻗어 있고 카메라 2대와 조명 1개가 달려 있죠. 이 카메라 2대는 의료기 등급의 고해상도 디지털 카메라입니다. 모션 캡처 수트의 경우, 보통 모션을 묘사하기 위해 신체 여러 부위에 마커가 있는데, 이 카메라는 모공까지 포착할 수 있습니다."

이 카메라의 영상은 무압축 2K RAW 파일로 출력됩니다. 시스템은 두 카메라 사이에서 이 모든 포인트와 함께 얼굴을 삼각 측량하고 60fps로 스캔을 완성합니다.

존스는 설명합니다. "전통적으로 그 시스템은 포인트 캐시를 출력하는데, 그건 사전 렌더링된 데이터에는 괜찮지만, 언리얼에는 다소 무겁습니다. DI4D는 저희와 시험해 보고 싶은 신기술을 가지고 있었어요. 일종의 하이브리드인데, 스캔 데이터와 안면 인식을 조합하여 모프 타깃을 구동하는 기술이었죠."

이 모프 타깃 기반 시스템은 언리얼 엔진과 호환되었습니다. 그래서 팀에서는 커다란 Alembic 캐시 파일을 3ds Max에서 언리얼 엔진에 옮길 필요 없이, 애니메이션 데이터를 임포트하여 언리얼 엔진 내에서 블렌드 셰이프를 원하는 만큼 결합하고 구동함으로써(모프 타깃도 알려져 있으므로) 각 프레임에 필요한 장면을 표현할 수 있었습니다. 존스는 말합니다. "Alembic에서 키를 지정하는 블렌드 셰이프로 근본적으로 변화하면서 전체 프로세스를 관리하기가 더 쉬워졌고 덕분에 전체 언리얼 파이프라인이 무사히 진행될 수 있었습니다."

존스는 회상합니다. "유니폼의 경우 코드마스터즈에서 어떤 모습일지 최대한 예측해서 알려줬어요. 그래도 어쨌든 2021년 3월에 제조업체들이 레이싱카와 브랜드를 공개하기 전까지는 확실히 알 수 없었습니다. 그때까지는 물리적으로 정확한 디자인이 불가능했습니다. 즉, 10개월 동안 최종 참고 자료를 받지 못한 상태로 프로젝트를 진행했다는 뜻이죠."

작업을 제시간에 마치는 데는 리얼타임 렌더링 기술의 속도와 유연성이 매우 중요했습니다. 존스는 말합니다. "UE4 툴세트는 이런 작업을 할 수 있도록 설계되었습니다. 에셋 라이브러리와 에셋 풀이 있어서 에셋을 검색하고, 필요한 캐릭터를 얻고, 거기에 애니메이션을 로딩하고, 실시간으로 피드백을 받을 수 있어 정말 큰 도움이 됐습니다. UE4에서 프로젝트를 빌드하고 그걸 이용해 씬을 개발하고 라이팅을 셋업하고 즉각적인 피드백을 얻은 덕분에 프로젝트를 무사히 끝낼 수 있었습니다."

팀에서는 유니폼 변경이 자유로운 컴포넌트 기반 캐릭터 조립 및 자동차 조립부터 군중 생성/관리에 이르기까지 전 작업에 블루프린트 비주얼 스크립팅을 사용했습니다. 존스는 말합니다. "팀에 프로그래머가 많지 않았습니다. 그래서 아티스트가 블루프린트에 정의된 보편적 규칙들을 따르도록 각 캐릭터를 설정하는 게 중요했죠."

예를 들어, 블루프린트 덕분에 팀원들은 샷을 담당한 아티스트가 원하는 대로 유니폼과 의상을 교체할 수 있도록 캐릭터를 미리 설정할 수 있었습니다. 이렇게 하면 뭔가 잊어버리거나 잘못 배치할 염려가 없습니다.

존스는 말합니다. "프로젝트 막바지에 특히 요긴했습니다. 막판에는 각종 유니폼을 정말 빠르게 렌더링해야 했거든요. 그리고 UE4의 헤어와 그룸 시스템이 없었다면 이 프로젝트를 구상할 수도 없었을 겁니다. 프로젝트 초기에는 실험 단계에 있던 시스템이었는데 다행히 프로젝트 도중에 정식으로 출시됐죠."

이제 정식 버전이 출시된 엔진의 헤어 앤 퍼 시스템이 얼마나 발전했는지는 웨타 디지털(Weta Digital)의 단편 영화로 확인해 볼 수 있습니다.

한계는 없다

리얼타임은 항상 자신들의 고퀄리티 렌더링에 자부심을 품어왔습니다. 팀에서는 게임을 전적으로 대표하는 비주얼을 만들면서 처음 언리얼 엔진을 사용하기 시작했습니다. 예를 들어, 레어(RARE)의 많은 작업이 게임 개발사의 게임과 매끄럽게 연결되어야 했기에 언리얼 엔진을 택한 것은 고객의 선택과도 맞는 최상의 선택이었습니다.

존스는 말합니다. "F1 2021은 저희가 CPU 렌더러 대신 UE4를 사용한 첫 번째 주요 시네마틱 프로젝트였습니다. 그런 결정을 내릴 수 있었던 이유는 헤어와 레이 트레이싱이 가능하고 이미지 퀄리티가 놀라웠기 때문이죠. 비록 게임이었지만 한계가 없었으므로 코드마스터즈에서 요구하는 고퀄리티를 맞출 수 있었습니다."