2016년 2월 7일

UE4 인텔 리얼센스 플러그

저자: Geoff Douglas

Intel사는 언제나 가장 열정적인 컨텐츠 크리에이터들이 편리하게 사용할 수 있는 혁신적인 도구와 기술을 소개하기를 좋아합니다. 익숙하지 않은 분들을 위해 소개를 드리자면, Intel RealSense camera는 일반적인 RGB 사진과 비디오 데이터 이외에, 적외선을 이용해 깊이를 계산합니다. 이 기술을 통한 개발을 돕기 위해 Intel사는 얼굴 인식 기술, 이미지 분할 기술, 3D 스캐닝 기술 등을 포함한 라이브러리인 RealSense SDK를 제작하였습니다.

Short-Range, User-Facing RealSense Camera Developer Kit

 

이 기술을 게임에 사용하게 되었을 때의 잠재성을 보게 되어서 저희는 여러분에게 Intel 게임 엔지니어간의 협업의 산물이며, 언리얼 엔진 4의 블루프린트 비주얼 스크립트 시스템에서 사용 가능한 RealSense SDK 플러그인을 소개해 드리고자 합니다.

여기에서 플러그인 소스 코드와 샘플 프로젝트를 확인 해 보시기 바랍니다.

플러그인 개요

이 플러그인은 액터 컴포넌트들로 구성되었습니다. 각 컴포넌트들은 RealSense SDK로부터 뚜렷한 기능들의 세트로 묶여 있습니다. 이러한 방법은 컴포넌트들을 상대적으로 가볍게 만들기 때문에 3D 감지 능력을 아무 액터에다가도 부여시킬 수 있게 되고, 동일한 컴포넌트의 인스턴스를 새로운 인스턴스로 생성하여 어디서든 데이터에 액세스 할 수 있게 됩니다.

Figure 2: ace scanning and mapping in Unreal Tournament using the Scan 3D Component

플러그인 컴포넌트

아래는 RealSense Components의 플러그인 속 기능들입니다.

  1. 카메라 스트림 컴포넌트: RealSense 카메라로부터 받아온 원본 색상과 깊이 정보 데이터 스트림에 접근할 수 있도록 해 줍니다.
  2. 스캔 3D 컴포넌트: 현실속 물체와 인간 얼굴의 스캐닝을 지원합니다. (위 사진).
  3. 헤드 트래킹 컴포넌트 (미리 보기): 사용자의 머리 위치와 회전값을 추적합니다.

 

Figure 3: Depth-based “green screen” effect using the Background Segmentation Component (coming soon)

곧 출시할 예정이니 플러그인에 아래 컴포넌트들이 추가될 것으로 기대하셔도 좋습니다.

  1. 헤드 트래킹 컴포넌트 (풀버전): 76개 까지의 얼굴 중요 트래킹 포인트, 심박수와 표정을 감지해 내는 추가적 기능.
  2. 배경 분리 컴포넌트: 이미지의 배경을 분리하여 실시간 비디오에 크로마키 기능을 추가 해 줍니다. (위 사진)
  3. 씬 스캐닝 컴포넌트: 거대한 씬에서(대략 2미터 x 2미터 범위) 3D 모델을 만들어 내서 사용자가 만들어 낸 콘텐츠와 증강 현실을 체험할 수 있도록 해 줍니다. (위 사진)
  4. 핸드 트래킹 컴포넌트: 22개의 특징점, 14개의 제스쳐, 단순한 커서 스타일의 상호작용 등을 포함하여 손의 스켈레톤을 추적해 냅니다.
  5. 음성인식 컴포넌트: 음성을 인식하여 문자로 받아 적고, 보이스 컨트롤 인터페이스를 감지해 냅니다.

 

그림 4: 씬 퍼셉션 컴포넌트 (출시 예정)을 이용해서 증강 현실 뷰를 보는 모습

플러그인에 대한 더 자세한 모습과 기능, 입문을 위한 튜토리얼 비디오들에 대한 정보는 여기 기사를 참조하시기 바랍니다.