2020년 4월 22일
사람을 향한 기술로 VR의 새로운 가능성을 연 VR 휴먼 다큐멘터리 ‘너를 만났다’
프로젝트에 참여할 참가자를 찾던 제작진은 네 아이의 엄마인 장지성씨의 사연을 접하게 됐습니다. 장지성씨의 바람은 2016년 가을에 하늘로 떠난 셋째 아이, 나연이에게 미역국을 끓여주고, 사랑한다고, 한 번도 잊은 적 없다고 말해주는 것이었습니다.
프로젝트의 내용이 결정된 이후, 독창적인 스토리텔링과 VR, AR, VFX 및 영화 등의 제작 기술을 보유한 비브스튜디오스가 장지성씨가 나연이와의 시간을 보낼 수 있도록 나연이를 VR로 구현하는 작업에 참여했습니다.
방송 제작진과 비브스튜디오스의 노력 덕분에 장지성씨는 나연이를 만나게 됩니다. 가상현실 속에서 한 번도 잊은 적 없었던 딸을 만난 장지성씨는 그토록 하고 싶던 사랑한다는 말을 전했습니다. 엄마가 차려준 생일상을 받고 함께 소원을 빈 나연이는 “엄마 사랑해”라는 말을 끝으로 하얀 나비가 되어 떠나갔습니다.
7개월간의 노력 끝에 장지성씨가 나연이를 만나 잠시나마 행복한 시간을 갖게 해주고, 그동안 오락적인 용도로 많이 알려진 VR에 새로운 영역과 방향성을 보여준 제작진 MBC 김종우 PD와 비브스튜디오스를 만나봤습니다.
VR과 휴먼 다큐의 접목은 상당히 새로운 시도였는데, 너를 만났다를 제작하게 된 계기는 무엇인가요?
MBC 김종우 PD: 새로운 프로그램의 기획을 하다가 ‘하늘에 있는 가족을 다시 만나는’ 모티브에 대해 떠올리게 됐습니다. 이후 주변에 이런저런 질문을 하고 답변을 통해 발전시켜 나갔는데, 그러던 중 게임엔진을 통해 사실적으로 구현된 CG들을 보고 영감을 받았습니다. 매우 사실적이면서도 초월적인 이미지의 CG들을 보면서 이와 같은 프로젝트의 느낌에 맞을 수 있다고 생각했죠.
그러다가 단방향인 영상 CG는 아무리 완성도가 높다 해도 결국 예전의 동영상을 보는 것과 큰 차이가 없을 것 같아서 VR로 진행하게 됐습니다. VR은 공간 안에서 상대와 상호작용이 가능하다는 점에서 완전히 다른 경험을 제공하기 때문에 ‘만난다’라는 느낌을 줄 수 있을 것이라 생각했죠. 처음에는 VR로 할지, AR(Augmented Reality, 증강현실)로 할지 고민을 했는데, 몰입감이라는 측면에서 VR로 결정하게 되었습니다.
비브스튜디오스: 방송사의 제안이 왔을 때, 지금까지 흥미 유발이나 재미를 전달하기 위해 사용하던 VR 기술을 넘어 일반 대중들이 감성적으로 공감할 수 있는 콘텐츠를 만들 수 있겠다는 생각이 들었습니다. 우리의 기술이 사람들을 위로하고 감동을 줄 수 있다는 점과 나아가 오락적인 요소가 강했던 VR 분야에서 새로운 영역을 개척할 수 있는 기회가 될 것 같아서 수익 등 다른 것들은 고려하지 않고 참여하게 됐습니다.
제작하는 과정에서 가장 어려웠던 부분이 있었다면요?
MBC 김종우 PD: 처음에는 이 작업이 장난스러운 시도가 아니라 진정성을 갖춘 현실로 만들 수 있을지에 대한 확신과 자신이 없었습니다. 그리고 이와 같은 시도에 용기 있게 나설 가족이 있을지에 대해서도 확신할 수 없어 어려웠고요.
어느 정도 프로젝트가 진행된 이후에는 기술적 한계에 부딪치게 됐는데, 예를 들어 사람을 움직이면서 자유로운 표정을 짓게 만드는 것은 상상했던 것보다 어려운 작업이었고, 딥러닝을 이용해 음성을 만드는 것 역시 쉽지 않은 작업이었습니다. VR 체험을 하는 당일까지도 계속 어려운 일들이 생겼는데, 지금 생각해보면 역시 가장 어려웠던 부분은 ‘나연이’라는 한 사람이 가진 ‘특유의 느낌’을 기술적으로 구현해내는 것이었습니다.
또한, 어떤 공간에서 어떤 만남을 구현하느냐에 대한 고민도 많았습니다. 영화처럼 만드는 사람들의 의도가 드러나서는 안 됐기 때문에 제작진은 체험자 가족과 신뢰를 쌓으며 설령 느낌이 적다고 해도 ‘가족의 기억만을 토대로 접근하자’라는 원칙을 세우고 조심스럽게 접근했고, 이러한 부분에서 가족들도 마음을 열었던 것 같습니다.
하지만 몇 차례의 파일럿 테스트를 진행하면서 보다 조심스러운 접근이 필요하다는 것을 깨닫게 됐습니다. 딸을 잃은 엄마가 낯선 가상 공간에서 평정심을 유지한 채 논리적인 사고에 기반한 여러 미션을 수행하는 것은 쉬운 일이 아닙니다. 또한, 촬영 기회가 단 한 번밖에 없다는 점도 상당히 부담스러운 부분이었습니다. 즉 엄마가 딸을 만나는 극적인 상황을 포착해야 하는 특성상 여러 번에 걸친 촬영이 불가능한 조건이었습니다.
‘단 한 사람을 위한 VR 경험’을 만들기 위해 가장 신경 썼던 부분은 무엇인가요?
MBC 김종우 PD: 단 한 사람을 위한 VR 경험이라는 것은 결국 ‘나만 알고 있는’ 내밀한 기억에 대한 분석이 필요했습니다. 엄마가 기억하는 나연이의 모든 모습과 행동들, 표정들을 분석하고 반영하려 노력했습니다. 기술력이나 시간의 부족 때문에 이러한 디테일들을 다 실감 나게 담지는 못했지만, 그러한 한계 속에서 어떻게든 한 사람을 ‘기억을 통해’ 구현해내려고 노력했습니다.
작업은 어떤 식으로 진행됐나요?
MBC 김종우 PD: 엄마가 자신의 기억 속에 들어온 듯한 느낌을 주는 것이 중요했습니다. 그래서 나연이의 모습을 엄마의 기억을 토대로 해서 많은 부분 반영했고, 장소 또한 엄마가 나연이와 온전히 둘만의 기억으로 가지고 있는 공원을 배경으로 시작했습니다. 전체 스토리는 나연이가 ‘그곳에 잘 있다’라는 모습을 보여줌으로써, 설사 그것이 가짜라고 해도 엄마에게 약간의 안심을 줄 수 있도록 구성했습니다.
기술적으로 보자면 스토리가 진행되면서도 약간의 시간적인 멈춤과 상호작용이 섞임으로써 마치 실제로 한 사람과 계속 뭔가를 해나가는 듯한 느낌을 줄 수 있도록 했습니다. 이런 연출은 VR 필름을 만드는 사람들이 모두 고민하는 상호작용성에 대한 것인데, 기술이 더 발전한다면 더 많은 상호작용과 열린 결말의 스토리가 가능할 것으로 생각합니다.
비브스튜디오스: 앞서 말씀드렸던 제작의 어려운 부분을 고려해 3가지 기준을 정해놓고 작업을 진행했습니다.
먼저 엄마의 감정의 흐름을 깰 수 있는 요소는 최대한 배제했습니다. 기획 초기에 고려했던 음성 인식이나 AI 접목을 통한 캐릭터의 반응과 같은 자동화된 방식은 실패할 가능성이 있고, 100% 기대하는 반응을 얻기가 어려워 배제했습니다. 대신 모션 캡처를 통해 나연이의 일상 행동을 정교하게 묘사한 애니메이션 클립 세트를 제작해 연출 흐름에 따라 적용했습니다. 그리고 그 모션 흐름 사이사이에 대기구간(looping)을 넣어서 엄마의 상태에 따라 대기와 진행 타이밍을 조정했습니다.
또한, 복잡한 상호작용보다는 촛불을 꽂거나, 머리를 쓰다듬으면 나연이가 자연스럽게 반응을 보이는 수준의 심플한 상호작용을 담았습니다. 이때 중요한 점이 시선 처리였는데, 에임 오프셋(Aim Offset)을 통해 나연이가 정해진 모션을 하는 동시에 시선은 자연스럽게 엄마를 향할 수 있게 했습니다.
두 번째로, 엄마가 자연스러운 VR 경험을 할 수 있도록 장치를 구성하고 프로그램을 최적화했습니다. 방송 수준의 그래픽 퀄리티와 성능을 확보하기 위해 고사양 PC 기반의 HMD 장비를 선택했지만, 렌더링 퍼포먼스를 확보하는 일은 쉽지 않았습니다. 넓은 공간 내에 잔디와 같은 다양한 자연물을 표현해야 했고, 피부와 헤어, 의상 등 나연이의 모습이 근접 시에도 사실적으로 보이면서 동시에 가벼워야 했죠. 이를 위해, 모델링과 언리얼 엔진 머티리얼 구성을 지속적으로 최적화했으며, 업샘플링(Upsampling) 기능도 적극적으로 활용했습니다.
HMD 장치 부분의 경우 가상 공간 내부에서 선의 간섭 없이 이동할 수 있도록 무선 VR 모듈을 사용했고, 엄마가 나연이를 만졌을 때 온기를 느낄 수 있도록 온도 촉감 장치와 VR 글러브를 활용했습니다. 또한, 바람이 부는 야외 환경을 느끼게 하기 위한 외부 팬을 컨트롤할 수 있도록 언리얼 엔진에서 프로그래밍했습니다.
마지막으로, 엄마의 체험을 효과적으로 전달하기 위해 시청자들에게 다양한 시점을 제공했습니다. 엄마의 일인칭 시점 VR 영상은 흔들림이 심하고 해상도가 낮으며 자칫 멀미를 유발할 수 있어 방송용으로 부적합했습니다. 그래서 언리얼 엔진 기반의 ‘제로 덴서티(Zero Density)’ 솔루션을 활용해 엄마의 모습과 배경 컴퓨터 그래픽이 동시에 표현되는 삼인칭 시점의 영상을 최종 방송용으로 추출했습니다.
너를 만났다 프로젝트에 언리얼 엔진을 선택한 이유는 무엇인가요?
비브스튜디오스: 지상파 방송이라는 특성상 제한된 제작 기간과 비용을 고려했을 때, 고품질의 상호작용 그래픽을 빠르게 제작할 수 있는 언리얼 엔진이 적합하다고 판단했습니다.
언리얼 엔진을 사용해 본 경험이 있었기 때문에 언리얼 엔진이 정교한 실시간 그래픽 표현과 더불어 셰이더와 로직 등을 매우 직관적인 방법으로 빠르게 구현할 수 있다는 것을 알고 있었습니다. 또한, 에픽게임즈의 무료 리소스나 언리얼 엔진 마켓플레이스의 애셋들을 활용하면 제작 기간을 더욱 단축할 수 있다는 부분도 언리얼 엔진을 선택하게 된 이유 중 하나였습니다.
어떤 부분에서 언리얼 엔진이 활용됐나요?
비브스튜디오스: 엄마가 자연스러운 VR 경험을 할 수 있도록 넓은 공간 내에 잔디와 같은 다양한 자연물을 표현하는데 있어 퀵셀(Quixel)의 메가스캔(Megascans) 라이브러리가 큰 도움이 됐습니다.
또한, 어린아이의 경우 디지털 휴먼으로 복원했을 때 피부 주름이나 표면 텍스처가 매끄러워 사실적인 표현에 어려움을 겪게 되는데, 언리얼 엔진이 제공하는 디지털 휴먼 제작기술 문서를 참고해 피부를 통한 빛의 산란을 위한 서브서피스 프로파일(Subsurface Profile)이나 셰이더를 통한 근접 모공 표현 등을 작업할 수 있었습니다.
나연이의 움직임을 표현할 때는 애니메이션 블루프린트(Animation Blueprint)와 에임 오프셋 등을 통해 상호작용 시에도 애니메이션 간 모션이 자연스럽게 블렌딩 되게 하거나 나연이의 시선이 실시간으로 엄마의 얼굴을 향할 수 있도록 했습니다. 그 외에도 온기를 느낄 수 있게 하는 장치나 바람이 부는 장면을 위한 팬의 작동 등의 외부 장치 제어에도 언리얼 엔진이 활용됐습니다.
이번 작품을 진행하면서 느낀 점이 있다면?
MBC 김종우 PD: 방송 이후에 많은 분들이 자신도 가족을 만나고 싶다는 사연을 보내주셨는데 너무나 감사한 일이고 고민이 되는 지점이기도 합니다. 생각보다 어렵고 큰 프로젝트라는 것을 느꼈기 때문에 이런 프로그램을 정기적으로 만들 수 있을지는 모르겠지만, 강한 스토리가 있다면 기술과의 결합이 가능하다는 것은 증명했다고 생각합니다. 앞으로 다른 프로젝트를 진행한다면 조금이나마 한 걸음 더 나가야 할 것 같습니다.
비브스튜디오스: 너를 만났다가 방영된 이후 로이터 통신이나 BBC 방송과 같은 외신에서도 취재를 하는 등 예상을 뛰어넘는 관심과 반응이 있었습니다. ‘나연이 엄마’에 대한 연민과 공감이 많았지만, 기술의 활용 범위나 윤리적 기준에 대한 의견도 많았고요.
첨단 기술이 감성과 만났을 때 얼마나 큰 영향력을 발휘할 수 있는지에 대해 알 수 있었을 뿐만 아니라 그만큼 신중해야 한다는 점을 배운 계기가 되었습니다. 이제 근미래에 현실과 가상을 구분하기 어려운 수준의 기술이 일상화됐을 때 그것을 어떻게 받아들이고 분별해야 할지에 대한 사회적 논의가 필요한 시점이 된 것 같습니다.
향후 행보와 목표는 무엇인가요?
비브스튜디오스: 비브스튜디오스는 기술의 최전선에서 다양한 도전과 시행착오를 통해 사람의 감성적인 경험을 기술적으로 구현하는 것에 더욱 집중할 계획입니다. 이를 위해 언리얼 엔진을 활용한 디지털 휴먼 R&D를 꾸준히 진행하고, 이러한 가상현실 구현 기술을 영화나 드라마 제작에 사용하도록 실시간 버추얼 프로덕션 파이프라인 개발도 함께 진행할 예정입니다.