증오는 프랑스의 컬트 클래식 영화입니다. 극명한 흑백 대비로 촬영된 이 영화는 파리 빈민가 주택 단지 '레 시테(les citées)'의 황폐한 도시를 배경으로 한 우정과 청년기의 거친 서사입니다.
이 영화는 이민자 출신 세 청년의 하루를 따라가면서 이들이 경찰의 폭력, 인종 차별, 구조적 배제를 어떻게 헤쳐나가는지 보여줍니다.
이제 이 스토리는 스크린에서 무대로 옮겨져 춤, 영화, 랩, 라이브 공연이 어우러진 새로운 몰입형 극장 쇼로 탄생했습니다.
증오: 지금까지 아무것도 바뀌지 않았다(La Haine: Jusqu’ici rien n’a changé)는 증오의 실제 촬영지들을 3D로 스캔하여 언리얼 엔진으로 구현한 야심 찬 프로젝트입니다.
이렇게 구현된 환경으로 비디오 콘텐츠를 만들고, 이를 공연 중 무대 뒤의 대형 LED 스크린에서 재생합니다.
비주얼 콘텐츠는 배우의 라이브 연기와 정밀하게 동기화 되며, 무대 예술과 몰입형 기술의 혁신적인 융합을 통해 실제 무대 세트와 디지털 환경을 결합시킵니다.
이어서 사일런트 파트너스 스튜디오가 기술적으로 복잡하지만 몰입감 넘치며 감정적으로 울림을 주는 경험을 제작한 과정을 소개합니다. 자세히 알아보세요.
이 영화는 이민자 출신 세 청년의 하루를 따라가면서 이들이 경찰의 폭력, 인종 차별, 구조적 배제를 어떻게 헤쳐나가는지 보여줍니다.
이제 이 스토리는 스크린에서 무대로 옮겨져 춤, 영화, 랩, 라이브 공연이 어우러진 새로운 몰입형 극장 쇼로 탄생했습니다.
증오: 지금까지 아무것도 바뀌지 않았다(La Haine: Jusqu’ici rien n’a changé)는 증오의 실제 촬영지들을 3D로 스캔하여 언리얼 엔진으로 구현한 야심 찬 프로젝트입니다.
이렇게 구현된 환경으로 비디오 콘텐츠를 만들고, 이를 공연 중 무대 뒤의 대형 LED 스크린에서 재생합니다.
비주얼 콘텐츠는 배우의 라이브 연기와 정밀하게 동기화 되며, 무대 예술과 몰입형 기술의 혁신적인 융합을 통해 실제 무대 세트와 디지털 환경을 결합시킵니다.
이어서 사일런트 파트너스 스튜디오가 기술적으로 복잡하지만 몰입감 넘치며 감정적으로 울림을 주는 경험을 제작한 과정을 소개합니다. 자세히 알아보세요.
Image courtesy of Anthony Ghnassia
전체 파리 건물을 3D 스캔하기
나탄 쿠튀르 뒤메(Natan Couture Dumais)는 사일런트 파트너스 스튜디오의 언리얼 리드입니다. 그는 몰입적인 공연 방식 덕분에 제작진이 스토리의 중심으로 관객을 불러들일 수 있었고, 전통적인 영화나 무대 형식으로는 불가능했던 역동적이고 감정적인 경험을 만들 수 있었다고 합니다.
"리얼타임 환경을 사용하면서 매끄러운 씬 전환, 역동적인 조명, 방대한 가상 세트가 가능해져 원작 영화의 거친 도시 분위기를 그대로 반영할 수 있었죠."라고 뒤메는 이야기합니다. "이러한 방식은 관객이 파리의 거리에 있는 것 같은 현장감을 만들어, 감정적 깊이를 더해 주고 생생한 내러티브를 강화해 줍니다."
스토리가 파리 외곽의 주택 개발 단지를 배경으로 진행된다는 점은 원작 영화의 가장 상징적인 요소 중 하나입니다.
마티외 카소비츠(Mathieu Kassovitz) 감독의 렌즈에 담긴 이 거리의 미학이 너무나 강렬했기 때문에, 사일런트 파트너스 스튜디오는 건물을 스캔, 리토폴로지, 최적화하여 도시 배경을 재구성하기로 결정했고, 이 방식은 원작 영화를 충분히 반영하면서 공연 제작의 요구 사항도 충족할 수 있었습니다.
사일런트 파트너스 스튜디오는 드론 기반 사진측량 기술로 전체 건물을 스캔했고, 원작 증오의 파리 촬영지에서 실제 환경과 사물을 캡처해 디테일한 가상 복제 도시 배경을 만들었습니다.
Image courtesy of Gabriel Coutu-Dumont
팀은 원작 영화가 제작된 1990년대 실제 거리 예술가들의 사진들을 바탕으로 그래피티 데칼을 생성한 배경에 배치했습니다.
작은 물체와 주요 랜드마크의 경우 DSLR 카메라를 이용한 고해상도 사진측량 기술을 사용했으며, 스마트폰 기반 스캔도 활용해 유연하게 작업했습니다.
그런 다음 3D 스캔을 언리얼 엔진으로 가져와 가상 환경을 만들었는데, 버추얼 프로덕션과 매우 유사한 워크플로였습니다.
사일런트 파트너스 스튜디오는 언리얼 엔진의 버추얼 카메라를 사용하여 3D로 스캔한 환경으로 시퀀스를 녹화했는데, 가상 씬에서의 카메라 이동을 트레드밀로 움직이는 실제 회전대 위를 걷는 배우들의 움직임에 맞춰야 했습니다.
이 부분이 프로젝트에서 기술적으로 가장 어려운 과제 중 하나였습니다. 이를 해결하기 위해 언리얼 엔진을 사용하여 오픈 사운드 컨트롤(Open Sound Control, OSC) 프로토콜을 통해 회전대로부터 실시간으로 모터 데이터를 수신하고, 이를 바탕으로 버추얼 카메라가 이동되도록 했습니다.
이름과 달리, OSC는 사운드를 제어하는 것 이외의 용도로도 활용됩니다. 오디오와 멀티미디어 장치를 위해 개발되었지만, 오늘날에는 유연한 네트워크 프로토콜 특성 덕분에 장치 간 유연한 리얼타임 제어와 데이터 교환이 필요한 모든 소프트웨어나 하드웨어 통신에 사용할 수 있으며, 라이팅, 프로젝터, 리깅 컨트롤러까지도 가능합니다.
OSC 프로토콜은 저지연 통신을 위해 설계되어 라이브 공연과 같은 분야에 적합하며, 언리얼 엔진은 OSC 플러그인을 통해 기본 OSC 지원을 제공합니다.
OSC 덕분에 가상 환경이 실제 무대와 완벽한 조화를 이루며 음직였고, 매끄럽고 몰입감 있는 경험을 만들어냈습니다.
"언리얼 엔진이 아니었다면 이 워크플로를 진행하기가 너무 어려웠을 겁니다." 사일런트 파트너스 스튜디오의 크리에이티브 프로듀서인 조나단 마스터슨(Jonathan Masterson)은 말합니다.
작은 물체와 주요 랜드마크의 경우 DSLR 카메라를 이용한 고해상도 사진측량 기술을 사용했으며, 스마트폰 기반 스캔도 활용해 유연하게 작업했습니다.
그런 다음 3D 스캔을 언리얼 엔진으로 가져와 가상 환경을 만들었는데, 버추얼 프로덕션과 매우 유사한 워크플로였습니다.
버추얼 카메라 샷을 트레드밀에 맞추기
사일런트 파트너스 스튜디오는 언리얼 엔진의 버추얼 카메라를 사용하여 3D로 스캔한 환경으로 시퀀스를 녹화했는데, 가상 씬에서의 카메라 이동을 트레드밀로 움직이는 실제 회전대 위를 걷는 배우들의 움직임에 맞춰야 했습니다.
이 부분이 프로젝트에서 기술적으로 가장 어려운 과제 중 하나였습니다. 이를 해결하기 위해 언리얼 엔진을 사용하여 오픈 사운드 컨트롤(Open Sound Control, OSC) 프로토콜을 통해 회전대로부터 실시간으로 모터 데이터를 수신하고, 이를 바탕으로 버추얼 카메라가 이동되도록 했습니다.
이름과 달리, OSC는 사운드를 제어하는 것 이외의 용도로도 활용됩니다. 오디오와 멀티미디어 장치를 위해 개발되었지만, 오늘날에는 유연한 네트워크 프로토콜 특성 덕분에 장치 간 유연한 리얼타임 제어와 데이터 교환이 필요한 모든 소프트웨어나 하드웨어 통신에 사용할 수 있으며, 라이팅, 프로젝터, 리깅 컨트롤러까지도 가능합니다.
OSC 프로토콜은 저지연 통신을 위해 설계되어 라이브 공연과 같은 분야에 적합하며, 언리얼 엔진은 OSC 플러그인을 통해 기본 OSC 지원을 제공합니다.
OSC 덕분에 가상 환경이 실제 무대와 완벽한 조화를 이루며 음직였고, 매끄럽고 몰입감 있는 경험을 만들어냈습니다.
"언리얼 엔진이 아니었다면 이 워크플로를 진행하기가 너무 어려웠을 겁니다." 사일런트 파트너스 스튜디오의 크리에이티브 프로듀서인 조나단 마스터슨(Jonathan Masterson)은 말합니다.
Image courtesy of Gabriel Coutu-Dumont
팀은 Smode를 미디어 서버로 사용해 언리얼 엔진 렌더링 결과물을 재생했고, 트랜지션과 색 보정을 추가했습니다.
관객이 어느 좌석에 앉아 있든 전체가 하나로 어우러져 자연스럽게 작동하도록 만드는 것은 큰 도전이었고, 이를 위해 어느 각도에서든 통하는 시각적 트릭을 찾아야 했습니다.
또한, 씬 구성이 중앙 좌석 몇 줄에서만 효과가 있는 아나모픽 착시의 함정에 빠지지 않기 위해 일부 타협했습니다.
환경을 만들고 통합하는 과정에서도 팀은 가상 렌즈를 조정하고 장식 요소의 스케일/각도를 절묘하게 맞춰가면서 그 사이에서 균형점을 찾아야 했습니다.
LED 월에서 곧고 균형 잡힌 모습으로 보일 수 있도록 일부 전경 요소는 불균형하게 스케일을 조정하고, 기묘한 각도로 배치했습니다.
"영화를 고전으로 만든 몇 가지 버티고 효과를 무대로 옮겨와야 했는데, 이를 달성하는 데 UE 카메라 시스템과 릭이 결정적인 역할을 했습니다." 마스터슨은 말합니다.
관객이 어느 좌석에 앉아 있든 전체가 하나로 어우러져 자연스럽게 작동하도록 만드는 것은 큰 도전이었고, 이를 위해 어느 각도에서든 통하는 시각적 트릭을 찾아야 했습니다.
또한, 씬 구성이 중앙 좌석 몇 줄에서만 효과가 있는 아나모픽 착시의 함정에 빠지지 않기 위해 일부 타협했습니다.
환경을 만들고 통합하는 과정에서도 팀은 가상 렌즈를 조정하고 장식 요소의 스케일/각도를 절묘하게 맞춰가면서 그 사이에서 균형점을 찾아야 했습니다.
LED 월에서 곧고 균형 잡힌 모습으로 보일 수 있도록 일부 전경 요소는 불균형하게 스케일을 조정하고, 기묘한 각도로 배치했습니다.
"영화를 고전으로 만든 몇 가지 버티고 효과를 무대로 옮겨와야 했는데, 이를 달성하는 데 UE 카메라 시스템과 릭이 결정적인 역할을 했습니다." 마스터슨은 말합니다.
Image courtesy of Anthony Ghnassia
안정적인 라이브 이벤트 공연을 위한 언리얼 엔진
증오: 지금까지 아무것도 바뀌지 않았다와 같은 몰입형 극장 공연은 기술 스택이 가진 능력에 따라 성공 여부가 판가름 납니다.
처음부터 리얼타임 기술이 제작 운영을 뒷받침할 것이라는 점은 분명했습니다.
마스터슨은 기존 사전 렌더링 파이프라인으로 동일한 몰입감을 구현하려 했다면 그 과정이 극도로 복잡해지고 창의력에 제약이 따랐을 거라고 설명합니다.
"환경을 재현하는 데 실제 세트 요소를 사용했다면 말도 안 되는 비용이 들었을 것이고, 감독은 '정적인 씬'에 갇혀 클래식 작품의 유산에 먹칠만 했을 겁니다."라고 그는 말합니다.
팀은 사실적인 비주얼을 구현하는 데 가장 적합하고, 실제 라이브 공연 환경에서도 이미 기능이 검증된 최고의 선택지였기 때문에 언리얼 엔진을 사용했습니다.
"언리얼 엔진이 비할 데 없는 비주얼 퀄리티와 강력한 성능을 갖췄기 때문에 선택에 망설임이 없었습니다."라고 뒤메는 말합니다. "수천 개의 오브젝트와 고해상도 3D 지오메트리가 있는 복잡한 씬을 처리할 수 있는 엔진의 능력이 프로젝트에 있어 필수였습니다."
또한 언리얼 엔진의 리얼타임 렌더링 덕분에 팀은 리허설 중에 즉시 조정할 수 있었습니다.
Image courtesy of Gabriel Coutu-Dumont
덕분에 협업이 매우 원활해졌습니다. 팀은 실시간으로 무대에 콘텐츠를 표시할 수 있어 감독, 아티스트, 뮤지션들은 즉각적으로 피드백을 주고, 엔진에서 바로 텍스처나 라이팅을 미세조정하는 등의 변경을 요청할 수 있었습니다.
"다른 엔진이나 사전 렌더링 솔루션과 비교할 때, 이는 큰 강점이었습니다." 뒤메가 이야기합니다. "엔진의 다양한 기능을 나나이트, 루멘과 같은 풍부한 툴세트와 함께 활용할 수 있어, 우리가 구상한 고퀄리티의 몰입감 있는 경험을 실현하기에 완벽했습니다."
나나이트는 언리얼 엔진 5의 가상화 지오메트리 시스템인데, 나나이트가 없었다면 팀은 파리를 스캔한 대규모의 3D 데이터를 게임 엔진으로 가져와 효율적으로 작업하기 힘들었을 것입니다.
"나나이트가 이 프로젝트에서 게임 체인저였습니다. 나나이트가 있기에 성능을 타협하지 않고도, 원작 증오의 파리 배경과 같은 실제 장소의 고해상도 3D 스캔을 통합할 수 있었습니다." 뒤메의 말입니다.
루멘은 다이내믹 글로벌 일루미네이션을 제공해, 가상 환경의 라이팅이 씬 변화에 실제처럼 반응하도록 했습니다. 또한 팀은 언리얼 엔진의 블루프린트 비주얼 스크립팅 시스템을 신속한 프로토타이핑에, 시퀀서를 시네마틱 시퀀스의 정밀한 제어에 활용했습니다.
"이러한 기능 덕분에 라이브 공연과 매끄럽게 어우러지는 시각적으로 놀라운 반응형 환경을 만들 수 있었습니다."라고 뒤메는 말합니다.
"다른 엔진이나 사전 렌더링 솔루션과 비교할 때, 이는 큰 강점이었습니다." 뒤메가 이야기합니다. "엔진의 다양한 기능을 나나이트, 루멘과 같은 풍부한 툴세트와 함께 활용할 수 있어, 우리가 구상한 고퀄리티의 몰입감 있는 경험을 실현하기에 완벽했습니다."
나나이트는 언리얼 엔진 5의 가상화 지오메트리 시스템인데, 나나이트가 없었다면 팀은 파리를 스캔한 대규모의 3D 데이터를 게임 엔진으로 가져와 효율적으로 작업하기 힘들었을 것입니다.
"나나이트가 이 프로젝트에서 게임 체인저였습니다. 나나이트가 있기에 성능을 타협하지 않고도, 원작 증오의 파리 배경과 같은 실제 장소의 고해상도 3D 스캔을 통합할 수 있었습니다." 뒤메의 말입니다.
루멘은 다이내믹 글로벌 일루미네이션을 제공해, 가상 환경의 라이팅이 씬 변화에 실제처럼 반응하도록 했습니다. 또한 팀은 언리얼 엔진의 블루프린트 비주얼 스크립팅 시스템을 신속한 프로토타이핑에, 시퀀서를 시네마틱 시퀀스의 정밀한 제어에 활용했습니다.
"이러한 기능 덕분에 라이브 공연과 매끄럽게 어우러지는 시각적으로 놀라운 반응형 환경을 만들 수 있었습니다."라고 뒤메는 말합니다.
Image courtesy of Anthony Ghnassia
배우의 경험을 향상시켜 준 리얼타임 환경
증오: 지금까지 아무것도 바뀌지 않았다가 관객에게 몰입감 있는 경험이라면, 쇼가 진행되는 동안 가상의 파리 도시 안으로 옮겨진 배우에게는 그 효과가 배가 됩니다.
"역동적인 배경이 연기를 위한 풍부하고 몰입감 있는 맥락을 전달했기에, 배우들은 리얼타임 비주얼이 가진 혁신성을 알아보았죠." 뒤메가 말합니다. "전통적인 정적인 세트와 달리 라이브로 렌더링되는 환경은 배우의 움직임과 내러티브에 반응했고, 이러한 설정은 결국 배우가 연기의 맥락을 더 잘 이해할 수 있도록 해 주었습니다."
원작 영화에서 배우들은 영화 내내 이곳저곳을 돌아다니는데, 그 과정에서 배우들의 연기는 분명히 주변 환경으로부터 영향을 받았습니다. 마찬가지로, 가상의 파리 환경을 걸을 수 있게 되면서 배우들은 증오의 세계에 완전히 몰입하고 관객까지 그 세계로 이끌 수 있었습니다.
"배우들이 디지털 장식 안에서 연기에 몰입할 수 없었다면 영화를 무대로 옮기는 건 불가능했을 것입니다."라고 마스터슨은 말합니다.
Image courtesy of Gabriel Coutu-Dumont
기술적으로 확장된 증강현실 몰입형 극장의 새로운 시대
뒤메는 이 프로젝트로 인해 디지털 공연에 대한 자신의 관점이 바뀌었다고 하며, 특히 버추얼 카메라의 움직임이 스토리텔링을 강화해 주는 방식이 그렇다고 합니다.
"전통적으로 라이브 쇼에서 고정 카메라를 사용해 기술적 복잡성을 피했지만, 증오에서는 언리얼 엔진 덕분에 안정성을 떨어뜨리지 않아도 정교한 카메라 움직임이 가능하다는 걸 알 수 있었습니다."라고 그는 말합니다. "이 경험으로 향후 프로젝트에서 더 역동적인 세트 확장, 가상 촬영 기법을 탐구하고, 기술적 정밀도와 창작의 자유 사이에서 균형을 찾아 관객 경험을 높이고자 하는 계기가 되었습니다."
리얼타임 기술의 가능성을 목격한 뒤메는 혁신적인 극장의 미래에 커다란 기대를 품었으며, 언리얼 엔진이 종합적인 쇼 컨트롤 플랫폼으로 진화하여 디지털 콘텐츠뿐 아니라 무대 라이팅, 구성, 미디어 서버 운영 모두를 조화롭게 결합할 것으로 내다보고 있습니다.
"제 최종 목표는 언리얼 엔진이 사전 시각화 툴로 자리 잡아, 크리에이터가 프로덕션을 시작하기에 앞서 완전한 디지털 환경에서 가상 배우, 라이팅, 사운드 모두를 포함해 전체 쇼를 시뮬레이션할 수 있게 되는 것입니다."라고 그는 이야기합니다. "앞으로 리얼타임 기술이 더욱 발전하면서 저는 몰입형 스토리텔링이 점점 더 상호작용 가능해지고, 관객의 실시간 반응이 입력이 되어 내러티브에 영향을 주는 진정 개인화된 극장 경험이 가능해질 것으로 봅니다."
리얼타임 기술이 허락하는 가능성을 빠짐없이 탐구하고 있는 사일런트 파트너스 스튜디오와 같이 뛰어난 스튜디오가 있기에 놀라운 가능성이 충만한 미래가 우리를 기다리고 있습니다. 증오: 지금까지 아무것도 바뀌지 않았다가 보여준 것처럼, 기술로 이룬 증강현실 몰입형 극장이란 멋진 새로운 시대는 이제 막 시작되었을 뿐입니다.
Image courtesy of Anthony Ghnassia