엔캠(Ncam)은 버추얼 세트 및 그래픽을 실시간으로 구현할 수 있는 완벽한 맞춤형 플랫폼을 제공합니다. 그 중심에는 특별한 카메라 하드웨어 애드온과 복잡한 소프트웨어로 가상 및 증강 그래픽 기술을 제공하는 엔캠만의 카메라 추적 솔루션이 있습니다. 이 시스템은 카메라에 부착된 경량의 센서 바를 이용해 주변 환경의 자연 특징을 추적하기 때문에 카메라가 모든 장소에서 자유롭게 움직이며 정확한 위치, 회전, 렌즈 정보를 끊임없이 생성합니다. 이 정보는 엔캠의 강력한 SDK를 통해 UE4 플러그인에 제공됩니다.
이 시스템은 실내, 실외, 와이어 촬영 및 휴대용 카메라에 이르기까지 모든 촬영 방식을 지원합니다. 엔캠의 제품은 전 세계에서 사용되고 있으며 아쿠아맨(Aquaman)(워너 브라더스), 한 솔로: 스타워즈 스토리(Solo: A Star Wars Story)(월트 디즈니 스튜디오), 데드풀 2(Deadpool 2)(마블), 왕좌의 게임 8(Game of Thrones Season 8)(HBO), 슈퍼볼 LIII(Super Bowl LIII)(CBS), UEFA 챔피언스 리그(UEFA Champions League)(BT 스포츠), NFC 챔피언십 게임(NFC Championship Game)(폭스 스포츠), 먼데이 나잇 풋볼(Monday Night Football)(ESPN) 등의 제작에 사용되었습니다. 정확한 추적을 위한 전문 하드웨어
엔캠이 카메라에 장착된 특수 하드웨어를 사용하는 것이 이 모든 것의 핵심입니다. 이 가볍고 작은 센서 바(bar)에는 많은 센서가 있습니다. 가장 눈에 띄는 것은 두 개의 스테레오 컴퓨터 비전 카메라입니다. 엔캠 하드웨어 바 내부의 추가 12개 센서는 눈에 띄지 않습니다. 가속도계와 자이로스코프 등이 포함된 이 센서들과 스테레오 카메라 한 쌍은 엔캠이 실시간 3D 포인트 클라우드를 사용해 세트의 공간적 깊이를 완벽하게 파악할 수 있도록 합니다.
동일한 하드웨어 유닛은 인터페이스를 통해 프레스턴(Preston) 사의 팔로우-포커스(Follow-Focus) 제어처럼 다양한 방식으로 렌즈를 제어하기 때문에 엔캠이 렌즈의 위치, 렌즈의 방향, 렌즈의 초점 및 시야는 물론 현재 렌즈의 전면에 있는 모든 것을 파악할 수 있습니다. 소품, 세트, 배우, 카메라, 렌즈는 전부 실시간으로 매핑되어 파악됩니다. 이 독특한 방식을 사용하면 UE4 엔진은 실제 세상과 통합된 라이브 그래픽 요소와 인물을 파악하고 보이는 것 그대로를 하나의 완벽한 제작물로 통합시킬 수 있습니다.예측 이동을 위한 데이터 수집
엔캠은 시작 당시부터 시각적 추적, 주행 거리 측정 및 관성 항법 시스템 기술 등 다양한 기술을 결합해 카메라 추적 문제를 해결해 왔습니다. 그러나 엔캠은 데이터 수집에 그치지 않고 통찰력 있는 정보를 제공하기도 합니다. 엔캠의 소프트웨어는 이 데이터를 사용해 예측 이동을 하고 강력한 반복 기능을 제공합니다. 소프트웨어는 카메라의 과거 위치와 함께 예상 위치를 파악합니다. 또한 카메라가 전달하는 중요 신호의 손실도 처리합니다. 만약 배우가 스테레오 렌즈 중 하나 혹은 두 개를 가린 경우 시스템은 다른 센서가 수집한 데이터를 기반으로 문제없이 작동됩니다.
소프트웨어는 이 모든 데이터를 통합해 UE4에 유용한 하나의 정보로 입력합니다. 예를 들어, 컴퓨터 비전 카메라는 최대 120fps의 속도로 실행되지만 다른 센서는 최대 250fps로 실행되므로 소프트웨어는 여러 데이터의 타이밍을 재계산하여 하나의 일관성 있고 안정적인 출력으로 평준화한 뒤 기본 촬영 카메라의 타임코드에 동기화시킵니다.
조명이 매우 까다로운 일부 세트에서 엔캠은 스트로빙 또는 플래시 라이트 장면을 위해 카메라를 적외선 모드로 실행할 수도 있습니다. 이 시스템은 지연 시간이 매우 낮게 설계되었기 때문에 카메라를 조작하는 사람이 실사 촬영과 UE4의 그래픽이 결합한 합성 출력을 볼 수 있어 더욱 정확한 프레이밍 및 블로킹을 할 수 있습니다. 녹색의 무대 위에 갑옷을 입고 선 남자 한 사람이 아닌 전체 장면을 볼 수 있다면 기사와 용이 등장하는 장면을 촬영하기가 훨씬 쉽습니다.
정확한 렌즈 보정 및 매칭
카메라 추적에서는 XYZ 위치 및 세 각도의 회전 등 6가지 종류의 자유도를 제공합니다. 여기에 촬영 카메라의 렌즈 데이터가 추가됩니다. 실사 촬영과 UE4 그래픽을 완벽하게 일치시키기 위해서 엔캠은 포커스, 아이리스, 줌 외에도 모든 줌, 포커스, 아이리스 조정에 따른 정확한 렌즈 곡률 및 왜곡을 알아야 합니다. 와이드 렌즈는 이미지를 확실히 휘게 만들기 때문에 실제 세계의 직선을 곡선으로 보이게 합니다. 모든 실시간 그래픽은 프레임별로 일치해야 하므로 렌즈의 일련번호를 바탕으로 렌즈 속성이 매핑됩니다. 모든 렌즈는 동일하지 않습니다. 따라서 촬영을 시작할 때는 Cooke 32mm S4/i 렌즈 템플릿을 사용했다 해도 엔캠은 개별 특성을 보완할 수 있는 렌즈 보정 시스템을 제공합니다.
엔캠의 시스템은 아리(Arri)의 렌즈 데이터 시스템(Lens Data System, LDS) 같은 시스템과 호환됩니다. 그러나 이런 시스템은 렌즈 전체의 광학 범위에 대한 이미지 왜곡을 제공하지는 않습니다. 프로젝트 시작 시 제작자들은 왜곡 및 핀쿠션을 매핑하는 엔캠의 독자적인 차트 및 도구 시스템을 사용해 각자의 렌즈를 보정하고 일련번호에 따라 이 정보를 참조할 수 있습니다.
이렇게 시스템은 실시간 그래픽과 실사 촬영 요소가 완벽하게 일치할 수 있도록 안정적이며 부드럽고 정확한 정보를 제공합니다. 엔캠의 설립자 닉 해치(Nic Hatch)는 설명합니다. "우리는 오랜 시간 각 센서의 다양한 기술을 통합하기 위해 노력했습니다. 그게 성공의 비법이라고 생각합니다."
리얼 뎁스(Real Depth)로 CG 요소 통합하기
엔캠의 가장 큰 장점은 깊이를 이해하는 점입니다. 모든 요소가 UE4에서 통합되면 엔캠의 "리얼 뎁스" 덕분에 엔진은 UE4 카메라에서 실제 촬영과 관계 있는 장소를 찾아냅니다. 덕분에 UE4 그래픽 요소 또는 버추얼 세트에서도 앞뒤로 이동하면서 촬영할 수 있습니다. 깊이 정보가 없다면 UE4에서 제작된 영상은 납작한 배경 화면처럼 보일 것입니다. 엔캠은 배우가 세트 앞으로 이동하면 UE4에서도 앞으로 이동하면서 적절한 거리에 있는 오브젝트를 통과합니다. 이것이 엄청난 제작 가치를 제공하면서 실사 촬영과 실시간 그래픽을 더욱 현실감 있게 통합합니다. 이 하나의 기능이 모션 그래픽, 사실을 전달하는 뉴스 화면, 이야기를 전달하는 화면에서 엔캠의 사용 방식을 완전히 바꿔 놓았습니다.
해치는 말합니다. "게임 엔진 통합은 언제나 중요했습니다. 실사 촬영과 언리얼 엔진을 이렇게 통합한 시제품은 아마 2016년 전시회에서 처음 선보였을 겁니다. 그 뒤로 우리는 아주 좋은 관계를 유지했죠." 엔캠은 지난해 직원 수를 두 배로 늘렸고, 엔캠 직원의 대부분은 R&D에 관여하고 있습니다. 이들은 효율적인 버추얼 프로덕션 파이프라인을 위해 UE4와 같은 소프트웨어 링크 및 API 개발에 특히 심혈을 기울이고 있습니다. 해치가 덧붙입니다. "복잡한 작업을 하는 만큼 R&D에 많은 투자가 필요하죠."리얼 라이트(Real Light)를 통한 개선된 현실 조명 매칭
엔캠의 주된 관심사는 카메라 앞에 펼쳐진 공간과 카메라의 역할을 이해하는 것이지만, 엔캠은 각 장면의 조명을 이해하는 고급 도구도 보유하고 있습니다. 엔캠의 "리얼 라이트" 프로젝트는 라이브 라이트 프로브를 현장에 두어 UE4 엔진에 빛의 레벨 및 방향 변화를 전달합니다.
리얼 라이트는 버추얼 프로덕션 애셋이 실제 장면의 일부처럼 보이지 않는 문제를 해결하기 위해 설계되었습니다. 리얼 라이트는 현실의 조명을 방향, 색상, 강도, HDR 맵 측면에서 캡처하여 언리얼 엔진이 모든 조명 변화에 적응할 수 있도록 합니다. 무엇보다 각 장면의 광원 깊이 및 위치를 이해하여 두 세계가 적절히 상호 작용할 수 있게 합니다. 즉, 디지털 애셋이 기술적으로 적합하면서 정확한 조명을 전달할 수 있습니다. 이는 실사 촬영과 게임 자산 통합에 있어 큰 발전이라고 할 수 있습니다.
세트 촬영을 변화시키는 게임의 새로운 기술, 기법, 모범 사례에 대해 관심이 있으신가요? 버추얼 프로덕션 허브(Virtual Production hub)에 방문하시거나 방송 관련 포스팅을 확인해 보세요.