리얼타임 라이브!에서 시연 중인 에픽게임즈와 ILMxLAB (시연 장면은 37:33부터입니다)
스타워즈(Star Wars™)를 기반으로 한 이 시네마틱은 퍼스트 오더(First Order) 함선에서 표면이 매끈한 방호복을 입은 스톰 트루퍼(Storm Trooper) 두 명이 번쩍이는 크롬 갑옷 차림의 파스마 대위(Captain Phasma)를 마주하는 장면을 보여주고 있습니다. 이번 협업은 지난 실시간 레이 트레이싱 데모 '리플렉션'의 연장선에 놓여있는 작업입니다. 5개월 전 처음 공개된 '리플렉션'은 당시만 해도 NVIDIA Quadro GV100 GPU 4개가 탑재된 NVIDIA DGX-1 Station에서 구동됐지만, 이제는 그보다 훨씬 저렴한 Quadro RTX 6000 GPU 한 개만으로도 동일한 프레임 속도를 구현할 수 있습니다. 급속도로 발전하는 하드웨어에 힘입어 실시간 기술도 생각 이상으로 빠른 발전속도를 보입니다.
리얼타임 라이브! 시연에서는 영화촬영기법, 세트, 소품, 라이트, 카메라, 모션캡처 캐릭터, 최종 애니메이션 결과물 등 여러 요소를 통합하는 방법과, 최종 영상을 어떤 식으로 감독하고 만들어내는지를 무대에서 라이브로 차례차례 짚어보았습니다.
시연 당시 ILMxLAB의 모헨 레오(Mohen Leo) 몰입콘텐츠 감독은 연기자에게 지시사항을 전달하고, 카메라를 잡았다가, 이어지는 장면에서는 라이트를 조정하곤 했습니다. 한편, 에픽게임즈의 가빈 모란(Gavin Moran) 크리에이티브 시네마틱 감독과 그레이슨 에지(Grayson Edge) 시네마틱 수석 디자이너는 각각 모션캡처 연기자와 기술자 역할을 맡아 프로덕션 과정을 실시간으로 진행했습니다.
레오는 "멀티유저 기능이 좋은 점은 한 장면을 팀 전체가 동시에 작업할 수가 있다는 겁니다. 마치 실제 영화 촬영장과도 같죠."라고 평했습니다.
모란 감독은 바이브 프로(Vive Pro)와 Xsens MVN 슈트를 입고 가상현실로 들어가 ‘리플렉션’ 장면 속의 다른 CG 캐릭터들을 상대로 연기했습니다. 움직임이 캡처되는 즉시 해당 바디 데이터는 IKINEMA 라이브 액션(LiveAction)을 통해 언리얼 엔진 내의 스톰 트루퍼로 리타겟팅됐습니다.
에지는 해당 움직임을 시퀀스 레코더로 레코딩하고, 시퀀서 시네마틱 툴로 장면을 편집해서 마스터 시퀀스에 드랍했습니다. 또한 에지는 레오와 함께 라이팅 및 카메라 위치를 조정했는데, 라이트를 이동하고 조정할 때마다 레이 트레이스드 리플렉션도 그에 맞추어 즉각적으로 바뀌는 모습을 볼 수 있었습니다. 이후 에지는 실시간으로 픽셀 한 점까지도 완벽하게 수정된 해당 장면을 관객 앞에서 재생해 보였습니다.
실험단계의 실시간 레이 트레이싱으로 제작한 '리플렉션' 시네마틱 본 영상
“멀티유저 협업과 편집이 가능해진 덕분에 세트장 담당자, 카메라 촬영담당, 연기자, 촬영감독을 비롯한 여러 감독이 마치 일반 영화 세트장에서 다 같이 작업할 수가 있습니다.” 에픽게임즈 CTO, 킴 리브레리(Kim Libreri)는 이어서 말했습니다. "VR에서든 워크스테이션에서든, 모든 사람이 같은 환경 속에서 다 함께 작업하는 겁니다. 그것도 실시간으로요."
라이브 프로덕션 환경에서는 크리에이티브 팀이 준완성된 이미지나 최종 이미지를 즉시 제작해낼 수 있기 때문에, 오프라인 렌더를 기다릴 필요 없이 작업물을 바로 검토할 수 있습니다. 언리얼 엔진을 통해 버추얼 프로덕션이 리얼타임 프로덕션으로 탈바꿈하게 된 겁니다.
다시 말해, 언리얼 엔진이 기초가 되는 버추얼 파이프라인에서는 감독, 세트 디자이너, 조명 디자이너, 연기자, 모션캡처 기술자, 카메라 촬영기사, 특수효과 아티스트 등, 제작에 관련된 모든 사람이 동시다발적으로, 실시간으로 작업해 언리얼 엔진으로 결과물을 완성할 수가 있습니다.
여러 요소가 시기적절하게 들어맞은 덕분에 리얼타임 프로덕션에 필요한 실시간 레이 트레이싱이 구현될 수 있었습니다. 그 예로 마이크로소프트(Microsoft) DXR 기술에도 레이 트레이싱 기능이 추가된 점과 효율적인 레이 트레이싱에 필수적인 노이즈 제거(denoising) 알고리즘이 전보다 더 빨라지고 정교해진 점, 게다가 하드웨어의 경우 눈부신 발전이 일어난 점을 꼽을 수 있습니다. 예를 들어, NVIDIA Quadro RTX 6000은 초당 1000만 광선을 처리할 수 있을 정도입니다.
비록 여태까지 공개된 레이 트레이싱 기능은 실험단계 수준이지만, 언리얼 엔진의 기능 셋에 레이 트레이싱을 추가하기 위한 작업은 계속 진행 중이며 추후 언리얼 엔진 배포 시 멀티유저 기능도 포함할 계획입니다. 늘 그래왔듯이, 소스 코드 접근과 함께 이 모든 기능을 언리얼 엔진 개발 커뮤니티에 무료로 공개할 예정입니다.
에픽게임즈는 앞서 시그라프 2018에서 '스피드 오브 라이트(The Speed of Light)'를 선보인 바 있습니다. 에픽게임즈, 포르쉐(Porsche), 엔비디아가 힘을 합쳐 만든 본 영상에는 멋진 포르쉐 911 스피드스터 콘셉트(Porsche 911 Speedster Concept)가 등장합니다. 이 짤막한 영상과 인터랙티브 라이팅 컨피규레이터(configurator)에 나타난 실시간 레이 트레이싱과 초기 단계의 레이 트레이스드 디퓨즈 글로벌 일루미네이션(ray-traced diffuse global illumination)을 통해, 언리얼 엔진이 영화나 TV 등에 사용될 최종 영상도 충분히 만들어 낼 수 있음을 엿볼 수 있습니다.
실시간 레이 트레이싱 시연에 엔지니어링 도움을 준 엔비디아에 특별히 감사의 말씀을 전합니다. 아울러 저희는 올해 말까지 깃허브(GitHub)에 실시간 레이 트레이싱 기능 코드를 배포하고, 내년에는 바이너리 버전을 제공할 계획입니다.
‘리플렉션’ 제작과 ‘언리얼 엔진 내 레이 트레이스드 협업 버추얼 프로덕션’에 대해 더 자세히 알고 싶으시다면, ILMxLAB의 모헨 레오와 에픽게임즈의 킴 리브레리, 가빈 모란과 함께 한 시그라프의 인터뷰를 살펴보세요.
리얼타임 프로덕션을 직접 경험해보시고 언리얼 엔진을 무료로 다운받아 보세요. 여러분이 만든 작업물은 언제나 대환영입니다. 직접 만든 작업물을 SNS에서 @UnrealEngine과 #UE4 태그를 달아 공유해보세요.