독일 슈투트가르트(Stuttgart)에서 4월 30일부터 5월 3일까지 개최된 FMX 2019에서는 애니메이션과 이펙트의 다섯 가지 트렌드가 세션과 제품 데모 전반에서 나타났습니다. 이 블로그 글에서는 이러한 트렌드를 살펴보고, 리얼타임 기술의 미래를 어디로 이끌어 가는지 알아보겠습니다.
트렌드 #1: 리얼리즘
엔비디아(NVIDIA) RTX 카드 같은 새로운 하드웨어의 영향과 UE4 같은 리얼타임 게임 엔진의 발전은 애니메이션과 비주얼 이펙트의 수많은 측면에 걸쳐 명백하게 드러났습니다.물리적으로 더욱 사실적인 라이팅의 발전, 특히 리얼타임 레이 트레이싱에 힘입어 애니메이션과 이펙트 분야에서 더욱 높은 수준의 리얼리즘을 구현하고 있습니다.
매트 워크만(Matt Workman)이 FMX의 두번째 날에 발표한 리얼타임 영화 촬영기법 시뮬레이터인 시네 트레이서(Cine Tracer)를 예로 들 수 있습니다. 이 하이브리드 게임/앱은 매트의 프로그래밍 지식과 그가 10년에 걸쳐 세트장에서 습득한 영화 촬영기법 지식을 결합한 것입니다. 지난 수년간의 많은 피치비즈 또는 프리비즈 프로젝트들과 달리 시네 트레이서는 정확한 블로킹과 프로젝트의 렌징을 가능하게 할 뿐만 아니라 사실적인 인터랙티브 라이팅과 뎁스 오브 필드도 지원합니다.
이 UE4 프로젝트의 리얼리즘은 영화 제작자에게 산업 표준의 버추얼 라이트와 크레인, 카메라 등을 통해 움직임과 포커스, 연기/안개 그리고 라이팅을 창의적으로 탐구할 기회를 제공합니다. 이를 통해 "플레이어"는 언리얼 엔진 4에서 개발한 멋진 차세대 환경에서 실제 세상을 기반으로 한 디지털 탤런트/액터의 연출과 감독을 경험해볼 수 있습니다.
트렌드 #2: 버추얼 프로덕션과 디지털 휴먼
세트장 내의 실시간 협업과 더욱 개선된 영화 제작 파이프라인은 더 비선형적인 스토리 제작 과정으로 이어지고, 그 결과 영화 제작에 창의성을 더합니다. 여러 세션이 애니메이션과 이펙트 파이프라인에 UE4를 적용할 때 발생하는 리얼타임 협업의 이점을 강조했습니다.에픽게임즈의 로스앤젤레스(Los Angeles) 연구소장인 데이비드 모린(David Morin)이 진행한 FMX 버추얼 프로덕션 트랙에서는 리얼타임 기술로 프로덕션 파이프라인을 개선하고 혁신한 고객 사례가 쏟아졌습니다. 한 예로 메소드 스튜디오(Method Studios)의 크리에이티브 디렉터 겸 수석 VFX 감독인 케빈 배일리(Kevin Baillie)는 자신의 팀이 어떻게 창의적인 UE4 버추얼 프로덕션 기술을 사용하여 로버트 저메키스(Robert Zemeckis) 감독의 영화 웰컴 투 마웬(Welcome to Marwen)에서 인형에 생명을 불어넣었는지 설명했습니다.
트렌드 #3: 시뮬레이션
플레이어의 관심을 유도하고 사실감을 더해주는 리얼타임 시뮬레이션이 여러 세션에서 다양한 수준으로 논의되었습니다.
예를 들어, 에픽게임즈의 게임 로보 리콜(Robo Recall)은 참가자들에게 올해 UE4 GDC 데모에서 주목을 받았던 카오스 파괴(Chaos destruction) 툴을 새롭게 접할 기회를 제공했습니다. 새로운 로보 리콜 데모는 이전에 플레이어가 상호작용이 없는 컷신에 제한되었던 점과 달리, 이제 시뮬레이션의 비중이 큰 액션이 펼쳐지는복잡한 신과 어떻게 상호작용하고, 파괴하는 등 직접 영향을 끼칠 수 있는지를 보여줬습니다. 지금까지 UE4는 애니메이션을 실시간으로 렌더하는 수단이었지만, 이 데모는 플레이어가 관람객에서 참여자로 바뀔 수 있는 시뮬레이션 성능의 엄청난 발전을 선보였습니다.
트렌드 #4: 딥러닝
애니메이션 기술 감독과 프로그래머가 사실감을 더하고 리얼타임 시뮬레이션을 구현할 때 사용하는 기술 중 하나는 딥러닝과 같은 머신러닝 기법의 애플리케이션입니다. 이번 콘퍼런스에서 딥러닝은 다양하고 폭넓게 모든 세션에서 들을 수 있을 정도로 화제의 단어였습니다!미디어와 엔터테인먼트의 리얼타임 기술이라는 맥락에서 딥러닝은 방대한 세트의 비주얼 데이터로부터 "학습"하고 이 학습한 내용을 실시간으로 렌더링에 적용하는 프로그램을 작성하는 것입니다. 이 분야에서 가장 주목할 만한 예시로는 디노이징, 레이 트레이싱, 그리고 가장 최근에 등장한 얼굴과 캐릭터 애니메이션이 있습니다.
대표적인 사례가 디지털 도메인(Digital Domain)의 페이셜 트래킹과 애니메이션에서 보여준 뛰어난 작업입니다. 더그 로블(Doug Roble)은 UE4를 이용해 놀라운 충실도와 사실감을 갖추고 실시간 조작이 가능한 자기 얼굴의 가상 복사본 디지털 더그(Digital Doug)를 만들었습니다. 이 프로젝트는 고도로 디테일한 얼굴 스피치 및 모션 트레이닝 데이터를 생성하는 새 기술을 활용해 에픽게임즈에서 최근 수년간 진행한 작업을 기반으로 더욱 확장했습니다.
대런 헨들러(Darren Hendler)도 마블(Marvel)의 타노스(Thanos) 작업에서 이와 관련된 디지털 인간 작업을 선보였습니다. 두 프로젝트 모두 디지털 도메인 페이스 파이프라인에 딥러닝을 사용했습니다.
모든 AI의 발전이 딥러닝을 활용하지는 않았습니다. 이 콘퍼런스에서 메소드 스튜디오의 마티아스 위트만(Matthias Wittman)도 UE4의 고급 캐릭터 애니메이션의 "감정 지능" 연구를 소개했습니다. 이 애플리케이션은 아직 머신 러닝을 사용하지 않았지만, 조연 캐릭터가 아주 인터랙티브하고 사실적인 연기를 할 수 있게 합니다. 이 시스템은 인터랙티브하게 실행될 뿐 아니라 VR에서도 작동합니다. 마티아스는 VR에서 캐릭터의 얼굴을 눌러보며 관객들을 즐겁게 해주는 동시에 이 기술을 선보였습니다.
트렌드 #5: USD 개발과 도입
기술적인 차원에서 올해 FMX는 UE4의 파이프라인 통합과 다른 표준 산업 도구와의 애셋 상호 호환성에서 중요한 진전을 보였습니다. 오토데스크 마야(Autodesk Maya), 파운드리의 누크(Foundry’s Nuke) 및 언리얼 엔진이 모두 오픈소스 유니버설 신 디스크립션(Universal Scene Description) 표준 포맷인 USD를 지원하게 되었습니다.특히 기대되는 것은 엔비디아가 개발해 온 새로운 옴니버스(Omniverse) 툴입니다. 아직은 개발 초기 단계지만 옴니버스는 향후 여러 애플리케이션을 실행하는 개별 아티스트부터 모든 지사에서 실시간으로 애셋을 공유하는 다국적 기업까지 다양한 사용 사례에서 완전하고 원활한 교환과 유니버설 애셋 업데이트가 가능해질 수도 있습니다.
USD는 픽사 스튜디오(Pixar Studios)에서 애니메이션, 모델, 애셋을 폭넓게 공유하기 위해 개발되었습니다. 알렘빅(Alembic) 교환 포맷과 달리 USD는 개별 애셋에 대한 레이어링, 레퍼런싱, 셰이딩 등도 포함합니다. USD가 폭넓게 도입되면 언리얼 엔진을 포함한 많은 애니메이션과 이펙트 파이프라인에서 효율성이 대폭 향상됩니다.
에픽게임즈는 오픈 소스 운동과 아카데미 소프트웨어 재단(Academy Software Foundation)을 전적으로 지지하며, 엔비디아 같은 기업들과 긴밀히 협력하여 멋진 화면 이미지를 극대화할 뿐만 아니라 UE4 프로덕션을 더욱 효율적으로 만들고 있습니다. 이는 애니메이션부터 버추얼 프로덕션까지 모든 종류의 프로덕션에 도움이 됩니다.
리얼타임 기술을 모두 활용하시려면 언리얼 엔진을 다운로드하고 버추얼 프로덕션, 리얼타임 레이 트레이싱 등을 시작하세요. 영화와 TV 프로덕션에서 더 폭넓게 활용되고 있는 리얼타임 기술에 대한 인터뷰, 동영상과 더 많은 인사이트를 보시려면 버추얼 프로덕션 허브를 방문하세요.