2019년 1월 23일
Welcome to Marwen의 인형에 버추얼 프로덕션으로 생명을 불어넣은 비결
웰컴 투 마웬은 예술작가인 마크 호건캠프(Mark Hogancamp)의 실화를 바탕으로 한 실사 애니메이션 영화입니다. 참혹한 폭행으로 인해 휴유증에 시달리던 마크 호건캠프는 사진을 통해 마음을 치유받게 됩니다. 마크호건의 촬영 대상은 뒷마당에 1:6 비율로 축소해 조성한 제2차 세계대전 시대의 마을로, 여기에는 세심하게 포즈를 잡아놓은 그의 친구들과 가족, 그를 폭행한 사람들, 그리고 마크호건 자신의 인형도 있습니다.
“아주 작은 감정 하나조차 놓치지 않고 아바타에 담아낼 방법을 제대로 찾은 거죠.”라며 저메키스는 설명했습니다. “이렇게 또 하나의 영화 제작 툴을 확보하게 되었습니다.”
웰컴 투 마웬에 사용된 인형 애니메이션의 분량은 총 46분에 달합니다. “어떻게 하면 이 많은 분량 동안 1:6의 비율로 실제 사람과 같은 연기를 구현하면서도 현실 세계와 이질감이 없게끔 만들어낼 수 있을까요?” 웰컴 투 마웬의 비주얼 이펙트 슈퍼바이저인 케빈 베일리는 저메키스로부터 원고를 처음 넘겨받았을 때 이런 생각을 했다고 합니다. “이 두 가지는 정말 물과 기름처럼 느껴졌거든요.”
저메키스는 인형들의 연기, 특히나 얼굴 표정에 배우들의 실제 연기가 반영되길 원했습니다. 그렇다면 당연히 퍼포먼스 캡처, 즉 표정을 포함해 연기자의 연기 퍼포먼스 전체를 녹화하는 모션캡처를 활용해야겠죠. 더욱이 저메키스는 이미 2004년도에 폴라 익스프레스에서 해당 기술을 선보인 바 있었습니다. 하지만 저메키스는 본 기술의 한계점을 알고 있었기 때문에 VFX 팀에게 다른 방안을 모색해볼 것을 요청했습니다.그때부터 베일리는 다양한 방안을 검토해 보았습니다. 심지어는 호건캠프 역을 맡은 스티븐 커렐(Steven Carrell)을 촬영한 후 커렐의 각 신체 부위를 인형 비율에 맞게끔 조정하고 대체하는 방법도 시도해 봤습니다. 베일리는 “정말 흉측했죠.”라며 당시를 떠올렸습니다. "엄청 정교한 핼러윈 분장을 뒤집어쓴 사람을 보는 것 같았다고 할까요."
이윽고 베일리는 발상의 전환을 시도했습니다. 즉 라이브 연기자에 인형 파트를 덧입히는 게 아니라, 반대로 커렐의 디지털 인형에 라이브 연기자의 파트를 덧입히는 방식을 택한 겁니다. 즉 커렐이 라이브 퍼포먼스를 펼치면 그의 눈과 입을 디지털 인형의 얼굴에 맞게끔 변형시킨 형태로 투사하는 방식인 겁니다. 제작진은 그 결과물을 보는 순간 직감했습니다. ‘바로 이거야.’
베일리는 “딱 보는 순간 ‘와, 실제 사람의 연기라는 것을 알고 있어도, 꼭 인형이 연기하는 것처럼 보이는데!’ 싶더군요." 라며, “이로써 영화 제작에도 청신호가 켜졌고, 결국 해당 기술을 실제 촬영에서 활용하게 되었죠.”라고 설명했습니다.
이 때문에 제작진은 연기자들의 표정 연기를 모션캡처 무대에서 녹화하게 되었지만, 한 가지 특이사항이 있었습니다. 베일리는 “얼굴의 영상은 그대로 사용해야 했기 때문에 얼굴에 마커를 부착할 수도 없었고, 헤드캠도 달 수 없었습니다.”라며, “어디 그뿐인가요. 조명을 비출 때에도 최종 결과물과 동일한 방식으로 진행해야 했습니다.”라고 덧붙였습니다.
버추얼 프로덕션을 통한 라이팅
실제 조명과 디지털 라이팅을 정확하게 일치시켜야 했던 만큼, 제작진은 촬영에 앞서 한 단계를 꼭 짚고 넘어갔습니다. 이는 바로 인형 씬을 실제로 촬영하기 전에 언리얼 엔진에서 전부 제작해보는 것이었습니다. 이렇게 함으로써 촬영감독(DP)은 모션캡처 촬영에 들어가기 한참 전부터 모든 조명을 디자인하고, 매 숏마다 원하는 그림이 나올 때까지 다양한 시나리오를 시도할 수 있었습니다.
베일리는 “모션캡처 무대에서 라이팅을 정확하게 넣어주어야 했기 때문에, 촬영감독인 C. 킴 마일즈(C. Kim Miles)가 꽤나 고생했습니다. 널찍한 회색빛 허공에 조명을 쏘아 촬영을 해야만 했으니까요.”라며, 이어서 “정말 여간 까다로운 일이 아니었습니다. 온갖 버추얼 프로덕션 기술의 도움을 받은 덕분에, 마일즈는 모션캡처 무대에 어떤 사항을 적용하면 최종 결과물에서 환경 전체에 어떤 식으로 반영이 되는지를 파악할 수 있었습니다.”라고 말했습니다.
만약 감독이 모션캡처의 세션마다 다른 조명, 동선, 카메라 앵글을 시도하고 싶어 하면, UE4팀이 그에 맞게 디지털 씬을 업데이트하여 변경사항을 미리 볼 수 있도록 도와주었습니다.
모션캡처 프로세스에서 유독 중요한 부분은 단연 연기자의 연기겠죠. 그렇기 때문에 연기자들이 모션캡처 프로세스 전반에 참여하는 것이 굉장히 중요했습니다. “만일 연기자가 리허설을 마치고 연기를 모니터링한 후 동선이나 씬에서 바꾸고 싶은 부분이 있다거나, 밥 저메키스가 뭔가를 바꾸고 싶어 하면 해당 수정사항을 반영했을 때의 모습이 어떨지를 바로 확인해볼 수 있었습니다.” 베일리가 말했습니다. “덕분에 연기자들은 ‘잘 될 테니, 눈 딱 감고 믿으라’는 식이 아니라 실제로 두 눈으로 확인해 볼 수 있죠.”
저메키스는 언리얼 엔진의 실시간 피드백 덕분에 자신을 비롯한 제작진과 연기자 사이의 의사소통이 신속해졌다며 극찬했습니다. “대단히 정교한, 움직이는 스토리보드와 같다고나 할까요.”라며, “연기자들을 비롯한 모든 사람에게, 여러분이 무얼 하고자 하는지를 아주 깔끔하게 전달할 수 있습니다.”라고 설명했습니다.
모든 연기를 녹화한 후, VFX 팀은 인형 머리 릭을 손수 키프레이밍한 애니메이션과 해당 영상을 결합하고, 연기자 헤드의 3D 스캔과 인형 모델을 계속 번갈아 작업하며 얼굴 영상과 키프레이밍의 적절한 조합을 찾아냈습니다. 이 프로세스를 통해 사실적이면서 개성이 잘 녹아있는 연기자의 연기를 인형 얼굴에 적용할 수 있었습니다.
더 나은 영화제작을 위한 버추얼 프로덕션
버추얼 프로덕션은 단순히 연기자의 연기를 녹화해 캐릭터를 애니메이팅 하는 작업 수단 그 이상입니다. 버추얼 프로덕션은 영화제작자가 이전에는 하지 못했던 일들을 가능하게 하면서 창작의 범위를 넓혀줍니다.
베일리는 “버추얼 프로덕션 덕분에 협동도 원활해지고, 작업 즉시 결과물을 확인할 수 있습니다. 그렇기 때문에 다들 어떤 판단을 내렸을 때 나중에 최종 결과물에서 어떻게 반영이 되는지를 구체적으로 파악할 수가 있죠.”라고 평합니다. “이로써 일종의 주체의식을 느낄 수가 있죠. 그 덕분에 영화의 최종본은 단지 감독뿐만 아니라 모든 부서가 더없이 직접 참여한 결실이 되는 겁니다.”
기술 도입이라면 누구에게도 뒤지지 않는 저메키스도 이에 동의합니다. “기술이란 건 정말 대단하죠. 모름지기 영화감독은 기술을 포섭할 줄 알아야만 최상의 영화를 만들 수 있습니다. 인물과 스토리를 뒷받침해줄 든든한 기술은 도처에 널려있습니다.”
이 때문에 제작진은 연기자들의 표정 연기를 모션캡처 무대에서 녹화하게 되었지만, 한 가지 특이사항이 있었습니다. 베일리는 “얼굴의 영상은 그대로 사용해야 했기 때문에 얼굴에 마커를 부착할 수도 없었고, 헤드캠도 달 수 없었습니다.”라며, “어디 그뿐인가요. 조명을 비출 때에도 최종 결과물과 동일한 방식으로 진행해야 했습니다.”라고 덧붙였습니다.
버추얼 프로덕션을 통한 라이팅
실제 조명과 디지털 라이팅을 정확하게 일치시켜야 했던 만큼, 제작진은 촬영에 앞서 한 단계를 꼭 짚고 넘어갔습니다. 이는 바로 인형 씬을 실제로 촬영하기 전에 언리얼 엔진에서 전부 제작해보는 것이었습니다. 이렇게 함으로써 촬영감독(DP)은 모션캡처 촬영에 들어가기 한참 전부터 모든 조명을 디자인하고, 매 숏마다 원하는 그림이 나올 때까지 다양한 시나리오를 시도할 수 있었습니다.
베일리는 “모션캡처 무대에서 라이팅을 정확하게 넣어주어야 했기 때문에, 촬영감독인 C. 킴 마일즈(C. Kim Miles)가 꽤나 고생했습니다. 널찍한 회색빛 허공에 조명을 쏘아 촬영을 해야만 했으니까요.”라며, 이어서 “정말 여간 까다로운 일이 아니었습니다. 온갖 버추얼 프로덕션 기술의 도움을 받은 덕분에, 마일즈는 모션캡처 무대에 어떤 사항을 적용하면 최종 결과물에서 환경 전체에 어떤 식으로 반영이 되는지를 파악할 수 있었습니다.”라고 말했습니다.
만약 감독이 모션캡처의 세션마다 다른 조명, 동선, 카메라 앵글을 시도하고 싶어 하면, UE4팀이 그에 맞게 디지털 씬을 업데이트하여 변경사항을 미리 볼 수 있도록 도와주었습니다.
모션캡처 프로세스에서 유독 중요한 부분은 단연 연기자의 연기겠죠. 그렇기 때문에 연기자들이 모션캡처 프로세스 전반에 참여하는 것이 굉장히 중요했습니다. “만일 연기자가 리허설을 마치고 연기를 모니터링한 후 동선이나 씬에서 바꾸고 싶은 부분이 있다거나, 밥 저메키스가 뭔가를 바꾸고 싶어 하면 해당 수정사항을 반영했을 때의 모습이 어떨지를 바로 확인해볼 수 있었습니다.” 베일리가 말했습니다. “덕분에 연기자들은 ‘잘 될 테니, 눈 딱 감고 믿으라’는 식이 아니라 실제로 두 눈으로 확인해 볼 수 있죠.”
저메키스는 언리얼 엔진의 실시간 피드백 덕분에 자신을 비롯한 제작진과 연기자 사이의 의사소통이 신속해졌다며 극찬했습니다. “대단히 정교한, 움직이는 스토리보드와 같다고나 할까요.”라며, “연기자들을 비롯한 모든 사람에게, 여러분이 무얼 하고자 하는지를 아주 깔끔하게 전달할 수 있습니다.”라고 설명했습니다.
모든 연기를 녹화한 후, VFX 팀은 인형 머리 릭을 손수 키프레이밍한 애니메이션과 해당 영상을 결합하고, 연기자 헤드의 3D 스캔과 인형 모델을 계속 번갈아 작업하며 얼굴 영상과 키프레이밍의 적절한 조합을 찾아냈습니다. 이 프로세스를 통해 사실적이면서 개성이 잘 녹아있는 연기자의 연기를 인형 얼굴에 적용할 수 있었습니다.
더 나은 영화제작을 위한 버추얼 프로덕션
버추얼 프로덕션은 단순히 연기자의 연기를 녹화해 캐릭터를 애니메이팅 하는 작업 수단 그 이상입니다. 버추얼 프로덕션은 영화제작자가 이전에는 하지 못했던 일들을 가능하게 하면서 창작의 범위를 넓혀줍니다.
베일리는 “버추얼 프로덕션 덕분에 협동도 원활해지고, 작업 즉시 결과물을 확인할 수 있습니다. 그렇기 때문에 다들 어떤 판단을 내렸을 때 나중에 최종 결과물에서 어떻게 반영이 되는지를 구체적으로 파악할 수가 있죠.”라고 평합니다. “이로써 일종의 주체의식을 느낄 수가 있죠. 그 덕분에 영화의 최종본은 단지 감독뿐만 아니라 모든 부서가 더없이 직접 참여한 결실이 되는 겁니다.”
기술 도입이라면 누구에게도 뒤지지 않는 저메키스도 이에 동의합니다. “기술이란 건 정말 대단하죠. 모름지기 영화감독은 기술을 포섭할 줄 알아야만 최상의 영화를 만들 수 있습니다. 인물과 스토리를 뒷받침해줄 든든한 기술은 도처에 널려있습니다.”
버츄얼 프로덕션 페이지의 '비주얼 디스럽터' 시리즈에서 더 많은 콘텐츠를 만나보세요!