넷플릭스 이미지 제공

넷플릭스 스위트홈을 버추얼 프로덕션으로 구현한 웨스트월드

Jinyoung Choi
20년 이상의 풍부한 경험을 가진 VFX 분야 전문인력들로 구성된 웨스트월드는 ‘퇴마록’, ‘도깨비’, ‘미스터션샤인’ 등 대한민국을 대표하는 200여편의 영화 및 드라마 제작에 참여하였습니다.
베테랑 VFX 전문가들이 모여있는 웨스트월드(Westworld)는 한국의 인기 대작 드라마를 연출한 이응복 감독 및 배우들과 함께 넷플릭스(Netflix) 오리지널 드라마 '스위트홈(Sweet Home)’을 흥행의 반열에 올려놨습니다.

‘스위트홈’에서 VFX를 담당한 웨스트월드는 특히, 프리 프로덕션 단계에서 국내 최초로 언리얼 엔진, 엔캠(Ncam) 그리고 엑스센스(Xsens)로 실시간 트레킹 및 모션캡처를 결합하는 새로운 방법으로 촬영했다고 하는데요, 그 내용을 자세히 알아보기 위해 웨스트월드 슈퍼바이저이신 이병주 님과 인터뷰 자리를 가졌습니다.

‘스위트홈’은 인기 있는 작품과 유명한 제작진이 만나 공개 전부터 화제가 되었습니다. 작품 및 제작진에 대해 간략히 소개 부탁드립니다.

웨스트월드 슈퍼바이저 이병주: '스위트홈'의 원작은 2017년 연재를 시작해 2020년에 완결된 스릴러 장르의 인기 웹툰입니다. 저 또한 밤을 새워가며 정주행했던 팬으로서, 넷플릭스 오리지널 시리즈로 제작한다는 소식에 정말 기뻤고, 그 작업에 참여할 수 있게 되어서 설레었습니다. '태양의 후예', '도깨비', '미스터 선샤인' 등의 인기 대작 드라마의 연출을 맡으신 이응복 감독님이 ‘스위트홈’의 연출을 맡으셨고, 이 감독님은 저희와 이전부터 호흡을 맞춰오시면서 VFX에 대한 관심과 이해도가 높으셨기에 이런 대형 크리처 장르도 함께 만들어낼 수 있었던 것 같습니다.


웨스트월드는 스위트홈에서 어떤 역할을 담당하셨고, 이를 위해 언리얼 엔진을 활용하신 이유가 무엇인가요?

이병주: 웨스트월드는 캐릭터 디자인, 프롭 디자인, 콘티, 프리비즈 등을 포함한 디지털 크리처 제작 및 작품의 시각효과(VFX)를 담당했습니다.  '스위트홈'의 흥미로운 점은 인간이 각자의 욕망에 따라 각각 다른 괴물로 변한다는 설정인데요, 이렇다 보니 역대급의 다양한 외형과 특징을 가진 괴물들을 구현해야했기 때문에 기술적으로도 굉장히 도전적인 작품이었습니다. 특히 대낮에 야외에서의 괴물 클로즈업, 괴물 간의 전투, 괴물과 실제 배우들 간의 인터랙션 장면 등이 다수 있었는데 이 모든 장면들을 CGI로 구현해 내는 것이 가장 큰 과제였습니다.

따라서 촬영장에 실제로 존재하지 않은 괴물을 퀄리티 있게 구현하기 위해 그들의 움직임과 동선을 미리 확인하고, 배우들이 그들과 인터랙션을 하며 실감나게 연기하기 위해서는 버추얼 프로덕션 활용이 반드시 필요했습니다.
웨스트월드 이미지 제공
저희는 수차례에 걸친 테스트와 검토 후에 버추얼 프로덕션을 위한 다양한 솔루션 및 툴 중에서도 언리얼 엔진을 채택했습니다. 여러 이유 중에서도 가장 큰 이유는 언리얼 엔진의 라이브 링크는 카메라 및 모션캡처와 같은 외부 데이터를 연결하여 라이팅 및 캐릭터의 위치와 크기를 쉽게 컨트롤 할 수 있는 편의성을 제공하며, 이를 활용하여 실제 배우의 연기와 움직임을 기반으로 가상의 캐릭터를 촬영할 수 있고, 보다 정확한 카메라의 움직임 확보할 수 있었기 때문입니다.

또한 연출자의 의도를 화면을 통해 촬영팀 전체에게 실시간으로 전달할 수 있어, 문서 또는 말로 그 의도를 전달하던 기존과는 달리 커뮤니케이션 비용을 줄일 수 있었을 뿐만 아니라 포스트비즈 또는 후반 작업에도 촬영한 데이터를 활용할 수 있어 시간을 비약적으로 단축시킬 수 있었습니다.
넷플릭스 이미지 제공
괴물과 실제 배우들 간의 인터랙션 장면은 정말 자연스럽습니다. 이를 위해서 어떤 방식으로 작업하셨는지 더 자세히 설명해 주시겠어요?

이병주: 저희 웨스트월드가 이번 프로젝트를 통해 버추얼 프로덕션을 처음 도입하면서, 언리얼 엔진과 엔캠 그리고 엑스센스를 결합하여 촬영 현장에서 촬영 및 연출팀, 배우 모두가 실시간으로 모니터링하며 장면을 실감나게 촬영할 수 있었던 것이 주효했습니다. 

국내 촬영 현장에서 언리얼 엔진과 엔캠을 결합해서 실시간으로 카메라를 트래킹하거나 엑스센스를 활용해서 모션캡처 데이터를 받는 식으로 각각 활용되어 왔습니다. 하지만 스위트홈은 실시간 카메라 트래킹과 실시간 모션캡처를 결합해서 기존과는 다른 방식으로 언리얼 엔진을 활용하게 되었습니다.
웨스트월드 이미지 제공
버추얼 프로덕션과 모션캡처로 근육 괴물을 촬영장에 구현한 모습
예를 들어, 4미터 30센티미터 크기의 근육 괴물과 소방차가 힘을 겨루는 장면을 구현해야 했는데, 해당 장면에서 괴물과 인물의 인터랙션을 표현하기 위해서는 괴물이 어느 정도 높이에서 바라보고 있고, 이동 동선은 어디서부터 어디까지인지 등을 촬영팀이 실시간으로 모니터링할 수 있어야만 했습니다. 바로 이 부분에서 언리얼 엔진의 도움이 컸는데요, 모션캡처 배우가 소방차 더미를 활용해서 카메라 뒷편에서 연기를 하고, 언리얼 엔진을 활용해서 그 데이터로 가상의 괴물을 실제 소방차 앞에 구현하여 촬영을 진행했습니다. 모션캡처 배우는 실시간으로 촬영되고 있는 영상을 보면서 본인이 연기하는 괴물의 움직임을 모니터링할 수 있고, 감독 및 연출팀 또한 현장에서 실시간으로 괴물의 움직임에 대해 연기를 지도를 할 수 있었습니다.

전통적인 기존 방식대로 촬영했다면 특수분장으로 제작할 수 없을 정도로 큰 크기 때문에 크로마키와 같은 색의 옷을 입은 대역이 미리 설정한 괴물의 동선을 따라서 움직이면 촬영감독이 앵글을 잡는 형태로 진행했을 것입니다. 이 외에도 테이크 별로 쉬는 시간, 감독의 디렉션 등의 여러 단계가 필요했겠지만, 웨스트월드 팀은 위와 같은 실시간 촬영 방식으로 기존 방식의 번거로운 작업을 생략할 수 있었습니다. 특히, 기존 선형적인 촬영 프로세스에서는 허락되지 않았던 협업 프로세스가 가능해짐에 따라, 촬영, 배우, 연출팀 모두가 함께 실시간으로 소통하며 촬영하게 되면서 많은 시간과 비용을 아낄 수 있었습니다.
웨스트월드 이미지 제공
건물 내부 전투 장면 촬영 시 근육 괴물을 버추얼 프로덕션으로 구현한 모습
이 방법은 현장 촬영뿐만 아니라 포스트 프로덕션 단계에도 큰 도움이 되었습니다. 촬영과 현장 편집을 동시에 진행하기 위해 근육 괴물이 등장하는 장면은 대부분 버추얼 스튜디오를 이용해서 진행되었는데요, 연출 및 촬영 감독은 모션캡처를 활용하여 괴물의 움직임 및 크기를 실시간으로 확인하면서 촬영했고, 촬영과 동시에 CG 작업 없이도 촬영한 모션 데이터와 라이팅 조건 등을 살펴보면서 포스트비즈를 완성해서 편집에 활용했습니다.

언리얼 엔진이 도움이 되었다고 하니 다행입니다. 사용하시면서 특히 마음에 들었던 언리얼 엔진 기능이 있나요?

이병주: 언리얼 엔진 4.19부터 추가된 라이브 링크 플러그인(Live Link Plugin)은 프리 비주얼 작업부터 실제 촬영과 포스트 프로덕션 단계의 작업까지 언리얼 엔진을 활용할 수 있는 범위를 크게 확장시켜 주었습니다. 웨스트월드 팀은 모셥캡처와 카메라 트래킹을 위해서 각각 엑스센스와 엔캠을 활용했는데,  두 장비는 언리얼 엔진의 라이브 링크와 연동되는 플러그인을 지원합니다. 특히 스위트홈의 경우 실제로 존재하지 않은 환경에서 가상의 크리처의 움직임을 표현해야하는 장면이 많은데, 라이브 링크 플러그인이 없었다면 모션캡처 데이터를 언리얼 엔진 속 크리처와 연동하고, 실제 카메라와 가상 카메라를 연동해서 실시간으로 촬영하는 기법을 활용할 수 없었을 것입니다. 라이브 링크는 실제 세계의 그 어떤 데이터도 가상 세계에 적용할 수 있다는 점에서 높은 확장성과 무한한 가능성을 내포하고 있는 만큼 추후에도 다양한 작품에 활용해 보고 싶습니다. 또한, 언리얼 엔진은 외부 플러그인을 손쉽게 관리하고 사용할 수 있는 구조를 제공하며, 프로젝트별로 에셋을 직관적으로 관리할 수 있어 편리하다고 생각합니다. 
넷플릭스 이미지 제공
웨스트월드는 언리얼 엔진을 활용하여 촬영 파이프라인의 단축 및 효율화를 이뤄나가고 있습니다. 촬영 파이프라인에 버추얼 프로덕션을 도입하려는 분들께 조언을 드린다면?

이병주: 버추얼 프로덕션을 프로덕션 단계뿐만 아니라, 프리 프로덕션 단계부터 활용한다면 촬영의 세부사항들을 시각적으로 확인하면서 계획을 수립할 수 있게 됩니다. 앞서 설명드렸던 저희 사례에서는 가상의 캐릭터 구현을 위해 모션캡처를 활용했지만, 애니메이션의 활용 또한 매우 중요합니다. 모션캡처를 활용하기 수월한 이족보행 캐릭터와 달리 4족 혹은 작품에 등장하는 거미 괴물과 같은 8족 등의 캐릭터는 애니메이터가 직접 키를 잡아야 하기 때문입니다. 따라서 언리얼 엔진을 활용한 가상의 캐릭터를 실시간 렌더링으로 확인할 수 있는 점을 염두에 두고, 완성도 높은 에셋들을 사전에 제작해두고 캐릭터의 세부적인 움직임 및 동선과 환경을 미리 구현해 둔다면 연출 및 카메라 감독은 버추얼 스튜디오를 이용해서 해당 장면을 세부적으로 구성할 수 있게 되어 그 장점을 온전히 누릴 수 있습니다. 

영화 산업은 프리 프로덕션, 프로덕션, 그리고 포스트 프로덕션으로 이어지는 선형적인 프로세스에서 비선형적 프로세스로 진보하고 있습니다. 버추얼 프로덕션을 활용한 촬영은 아직 초기 단계이지만, 해당 기술에 대해 이해력 높은 인력, 관련 장비의 보급화, 촬영 환경 개선 등 업계에는 변화의 바람이 불어올 것입니다.

이 과정에서 언리얼 엔진의 리얼타임 렌더링 성능 및 퀄리티는 기존의 오프라인 렌더러를 대체할 것으로 생각됩니다. 특히 대규모 연산이 필요한 이펙트, 근육 및 털, 군중 시뮬레이션 등의 렌더링에 투입되는 자원 및 시간을 비약적으로 감소시켜 VFX 산업 전반에 혁신적인 생산성을 제공해 줄 것입니다. 물론 언리얼 엔진 5에 나오게 될 나나이트와 같은 기능들은 기존의 VFX 어플리케이션과의 데이터 호환 어려움도 해결해줄 것으로 기대하고 있습니다.


향후 웨스트월드의 행보와 목표는 무엇인가요?

이병주:
스위트홈 프로젝트를 통해 실제와 가상 세계의 연동을 통한 실시간 버추얼 프로덕션 경험을 쌓을 수 있었으며, 그 경험을 바탕으로 이제는 LED 월과 인카메라 VFX의 R&D를 통해 차기 프로젝트에 적용해 나가고 있습니다.

웨스트월드는 차후의 다양한 프로젝트에 언리얼 엔진의 리얼타임 렌더링과 기존의 오프라인 렌더링 방식의 작업을 유기적으로 연동하여, 최고 퀄리티의 작품을 가장 효율적으로 제작할 수 있는 공정을 개선하는 선도적인 기업으로 발전해 나가려고 합니다. 웨스트월드의 최신 소식은 홈페이지페이스북에서 확인하실 수 있으니 관심 있는 분들께서는 언제든지 방문해 주시기 바라며, 스위트홈은 넷플릭스에서 시청하실 수 있습니다.

    언리얼 엔진의 버추얼 프로덕션으로 프로젝트를 효율적으로 제작하고 퀄리티를 확보하고 싶으신가요? 버추얼 프로덕션에 대해 아래에서 자세히 살펴보세요.