이번에도 IKINEMA의 라이브 액션(LiveAction) 기술과 언리얼 엔진의 도움을 받아(2016년 리우 올림픽 당시와 동일합니다!), TV 글로부는 다이내믹 3D 모션캡처로 만들어낸 축구선수 아바타들을 사상 최초로 라이브로 방송해 AR 안경으로 즐길 수 있게끔 했습니다.
라이브 액션은 최첨단 풀 바디 솔버로, 이를 통해 TV 글로부 팀은 생방송 내내 흔들림 없이 탄탄한 실시간 애니메이션 파이프라인을 얻을 수 있었습니다. 우선 멀리 떨어진 스튜디오 현장에서 여러 명의 연기자가 펼치는 연기를 모션캡처한 후 라이브 액션으로 스트리밍하고, 그러고 나서 언리얼 엔진을 사용해 렌더했습니다. 물론 전부 실시간으로 진행됐죠.
글로부 기술부서의 총감독인 파블로 비오니(Pablo Bioni)는 “라이브 액션의 애니메이션 클리닝 파이프라인(ACP)이 탁월한 점은 모션 데이터의 결함이 즉시 자동으로 제거되고, 이렇게 얻은 모션에 가상 아바타가 라이브 스트리밍 중에 입혀진다는 점입니다. 그것도 최고의 통합 솔루션 시나리오에서 지연 없이 말이죠. 이와 같은 협업 덕분에 혁신적인 방송이 가능했습니다.”라며, “그 결과, 3D 렌더된 축구선수가 연기자들 움직임과 완벽하게 싱크 맞춰진 상태로 서로 자연스럽게 주거니 받거니 할 수 있었습니다.”라고 덧붙였습니다.
아래 영상을 보시면 라이브 액션이 캡처된 연기자의 몸짓을 스트리밍해 가상 캐릭터에 해당 움직임을 끊김 없이 리타깃하며, 그와 동시에 언리얼 엔진 뷰포트에서 실시간으로 렌더링되는 모습을 볼 수 있습니다.
IKINEMA의 라이브 액션에 언리얼 엔진이 더해져, 글로부 진행자는 가상 축구 경기장에서 라이브 스트리밍된 여러 명의 가상 캐릭터를 보고 상대하며 세트장에서 완전히 몰입할 수 있었고, 동시에 시청자는 증강현실 TV 경험을 만끽할 수 있었습니다.