집중탐구
2026년 5월 5일
메타휴먼과 UE5로 구현한 Daughter of the Inner Stars의 스타일라이즈드 디지털 휴먼
도터 오브 디 이너 스타즈(Daughter of the Inner Stars)는 라이브 내레이션, 애니메이션, 시네마틱 음악이 어우러진 50분 길이의 오리지널 심포닉 오케스트라 공연입니다. 니콜라스 벅(Nicholas Buc)과 멜라니 힐루타(Melanie Hiluta)가 제작하고, 제임스 빈슨(James Vinson)이 각본을 쓰고 연출한 이 작품은 무의미한 우주 전쟁 속에서 사라진 아버지 버토(Burto)를 찾아 나서는 용감한 어린 소녀 피아(Fia)의 여정을 그립니다.
이 스토리가 특히 매력적인 이유는, 의심할 여지 없이 매혹적인 최종 결과물 자체뿐만 아니라 작품이 구현된 방식에 있습니다.
소규모 팀과 제한된 환경 속에서도 제작진은 메타휴먼과 언리얼 엔진을 활용해 기존의 한계를 넘어섰습니다. 그 결과는 새로운 제작 워크플로로 이어져 스타일라이즈드 비주얼, 실시간 제작, 고퀄리티 퍼포먼스 캡처를 통합해 현대적인 스토리텔링을 위한 하나의 파이프라인을 구성했습니다.
이 스토리가 특히 매력적인 이유는, 의심할 여지 없이 매혹적인 최종 결과물 자체뿐만 아니라 작품이 구현된 방식에 있습니다.
소규모 팀과 제한된 환경 속에서도 제작진은 메타휴먼과 언리얼 엔진을 활용해 기존의 한계를 넘어섰습니다. 그 결과는 새로운 제작 워크플로로 이어져 스타일라이즈드 비주얼, 실시간 제작, 고퀄리티 퍼포먼스 캡처를 통합해 현대적인 스토리텔링을 위한 하나의 파이프라인을 구성했습니다.
포토리얼리즘과 회화적 스타일의 결합
도터 오브 디 이너 스타즈의 가장 독특한 특징 중 하나는 비주얼 정체성입니다. 포토리얼리즘에 전적으로 의존하기보다, 비주얼 세계를 구축한 인퍼스튜디오(Inferstudio)는 보다 촉각적이고 표현력이 살아 있는 스타일을 추구했습니다.
프로덕션 디자이너, 촬영 감독, 비주얼 이펙트 슈퍼바이저인 네이선 수(Nathan Su)는 설명합니다. “일러스트 동화책의 매트한 물리적 질감이 느껴지는 표현에 더 가깝습니다. 화면 중심의 매끈하게 정제된 비주얼 관습에서는 벗어난 방향이죠.”
또한 인퍼스튜디오는 소규모 팀과 각자의 역량을 고려해 언리얼 엔진의 실시간 워크플로가 현실적으로 실행 가능한 유일한 선택이라고 판단했습니다.
이 작품의 초기 비주얼 테스트에서는 회화적인 배경 환경을 제작하고, 제한된 애니메이션이 적용된 2.5D 일러스트 캐릭터를 합성했습니다. 수가 말합니다. “저희는 각 씬을 정지된 초상화나 그 안에 들어간 듯한 연출로 구성했습니다.”
메타휴먼 애니메이터가 출시되자, 팀은 재미 삼아 캐릭터를 메타휴먼으로 변환해 보고 페이셜 모캡 테스트를 진행했습니다.
수는 설명합니다. “당시 감독 제임스(James)가 실제 사람의 연기를 작품에 담을 수 있는 가능성에 큰 흥미를 느꼈고, 그 결과 정지된 씬 중심의 연출에서 벗어나 보다 애니메이션이 적용된 방식으로 빠르게 전환했습니다.”
메타휴먼의 퀄리티와 정확성은 프로젝트에 큰 진전을 가져왔고, 팀은 캐릭터의 복잡한 감정에 담긴 뉘앙스와 미묘한 차이를 탐구할 수 있었습니다. 그러나 이로 인해 새로운 과제가 생겼습니다. 메타휴먼의 강점이 사실적인 표현에 있는 만큼, 비주얼이 의도하지 않은 방향으로 흘러가게 된 것입니다.
수는 말합니다. “캐릭터의 매우 높은 해상도로 인해 씬이 점점 비디오 게임 컷씬처럼 느껴지기 시작했습니다.”
팀은 보다 회화적인 스타일을 찾기 위해 새로운 실험을 시작했습니다. 그 과정에서 언리얼 엔진 렌더링과 AI 기반 스타일 처리를 결합한 하이브리드 파이프라인이 만들어졌습니다.
수는 설명합니다. “저희는 언리얼에서 모든 것을 최종 퀄리티로 렌더링한 뒤, 작품의 모든 최종 프레임을 자체 개발한 커스텀 AnimateDiff 스크립트에 입력했습니다.”
스테이블 디퓨전 AI 패스는 의도적으로 가볍게 적용되어, 이미지를 근본적으로 변경하기보다는 앨리어싱, 블러 아티팩트, 텍스처 이음새처럼 디지털 특유의 두드러지는 요소를 덜어내는 데 초점을 맞췄습니다. 동시에 머리카락과 같은 영역의 가장자리와 교차점에는 약간의 변형과 부드러움을 더했습니다.
핵심은 이미지를 완전히 바꾸는 것이 아니라 섬세하게 다듬는 데 있었습니다. 여러 결과물을 레이어링해 사용함으로써, 라이팅과 구도에 대한 제어력을 유지하면서도 부드럽게 퍼지는 질감과 회화적인 느낌을 더할 수 있었습니다.
수는 설명합니다. “대부분의 경우 단순한 불투명도 조정 작업이었으며, 렌더링된 프레임에 스테이블 디퓨전 이미지를 약 30~50% 정도 덧입혀 사용했습니다.”
그 결과 일러스트와 시네마틱 리얼리즘의 중간 지점에 있는 비주얼 스타일이 완성됐으며, 포스트 프로세싱과 결합했을 때 실시간 파이프라인이 얼마나 유연하게 확장될 수 있는지를 잘 보여줍니다.
Inferstudio 이미지 제공
스타일라이즈드 캐릭터 디자인에 맞춘 메타휴먼 커스터마이징
이러한 스타일라이즈드 룩을 구현하기 위해서는 단순히 포스트 프로세싱만으로는 충분하지 않았습니다. 팀은 메타휴먼 에셋을 직접 수정하고, 특히 주인공 캐릭터인 피아의 경우 더욱 세심하게 작업했습니다. 수는 말합니다. “피아는 Blender에서 제작한 커스텀 헤어 그룸을 갖추고 있었고, 크기를 키운 눈과 커스텀 스킨 텍스처가 적용된 상태였습니다.”
피아의 눈은 메타휴먼 크리에이터(MetaHuman Creator, MHC)의 한계를 넘어서는 비율이 필요했기 때문에, 먼저 MHC에서 원하는 스타일에 최대한 가깝게 캐릭터를 만든 뒤, 언리얼 엔진에서 헤드 메시를 바로 익스포트해 Blender에서 수정했습니다.
수는 말합니다. “결국 눈 메시만 키우면 됐기 때문에 비교적 간단한 모델링 작업이었습니다.”
눈과 같은 요소를 표준 이상으로 확대하면서 전체 디자인을 2D 일러스트 스타일에 더 가깝게 만들 수 있었습니다. 수는 말합니다. “심지어 툴을 다루는 법을 익히면서 동시에 작업을 병행했음에도, 이 모든 게 가능했다는 사실에 정말 놀랐습니다.”
다른 휴머노이드 캐릭터의 경우, 기본 메타휴먼 얼굴과 체형을 기반으로 헤어, 의상, 얼굴을 커스터마이징해 보다 스타일라이즈드하고 손으로 그린 듯한 비주얼 스타일을 구현했습니다.
수는 설명합니다. “메타휴먼 블루프린트 구조 덕분에 텍스처와 바디 메시를 쉽게 교체할 수 있었고, 매우 독창적인 캐릭터를 만들 수 있었습니다.”
메타휴먼은 휴머노이드 캐릭터에는 유연한 기반을 제공했지만, 레비아탄(Leviathan)과 같은 비휴머노이드 캐릭터를 다룰 때는 완전히 다른 접근이 필요했습니다. 각 크리처의 해부학적 구조에 맞춘 완전히 커스텀된 릭과 애니메이션 로직을 새로 구성해야 했습니다.
표준화된 툴과 워크플로를 활용할 수 있는 메타휴먼과 달리, 이 캐릭터들은 프로시저럴 릭과 스플라인 기반 애니메이션 등 보다 실험적인 기법을 활용했으며, 이를 통해 인간 형태를 넘어설 때 파이프라인이 어떻게 변화해야 하는지를 보여줍니다.
Inferstudio 이미지 제공
사실적인 연기를 위한 페이셜 및 바디 모션 캡처 결합
퍼포먼스 캡처는 휴머노이드 캐릭터에 생명을 불어넣는 데 핵심적인 역할을 했습니다. 팀은 페이셜 캡처에 메타휴먼 애니메이터를, 바디 트래킹에는 Autodesk Flow Studio를 사용한 뒤 데이터를 수동으로 병합했습니다.
프로젝트에 참여한 디지털 휴먼 스튜디오인 임퍼소나스(IMPERSONAS)의 창립자 겸 CEO 누르 하순(Nour Hassoun)이 설명합니다. “바디 데이터와 페이셜 캡처 데이터를 동기화하는 작업은 모든 애니메이션마다 수작업 과정이었지만, 일단 동기화가 되면 마법 같은 일이 일어났습니다.”
얼굴과 체형을 단일 카메라 기반 캡처 시스템으로 처리했기 때문에, 여러 연기자가 동시에 상호작용할 수 있었습니다.
수는 말합니다. “만약 여러 벌의 캡처 슈트나 고급 트래킹 시스템이 필요했다면, 이 프로젝트에서 모션 캡처 비용을 감당하지 못했을 것입니다. 특히 씬의 모든 연기자를 동시에 캡처할 수 있는 점은 필수적이었습니다.”
팀은 라이브 링크 페이스를 활용해 휴대폰으로 페이셜 캡처를 수행하며 저예산으로 효율적인 퍼포먼스 캡처를 실현했습니다.
수는 말합니다. “저희는 자전거 헬멧과 셀카봉, 발목 중량 밴드, 그리고 덕트 테이프를 좀 과하다 싶을 만큼 써서 초간단 페이셜 캡처 장비를 만들었는데, 생각보다 훨씬 안정적으로 작동했습니다.”
Inferstudio 이미지 제공
“퍼포먼스 캡처는 불과 1년 전까지만 해도 저희 같은 규모와 기술력의 팀이 해낼 수 있을 거라고는 꿈도 꾸지 못했던 일입니다.”
캡처한 배우의 연기를 스타일라이즈드 캐릭터에 리타기팅하는 과정에서는 시행착오가 따랐습니다. 눈 움직임이 과하면 피아의 눈이 피부나 눈꺼풀에 파묻히는 현상이 발생했고, 특정 동작에서는 팔이 소매를 뚫고 나오기도 했습니다.
하순은 설명합니다. “텍스처 마스크와 카메라 연출, 세심한 애니메이션 보정을 통해 해결하지 못한 문제는 없었습니다.”
팀은 사실적인 캐릭터와 스타일라이즈드 캐릭터 작업의 핵심적인 차이에 있어, 모캡 보정이 단순한 '정리 작업'이 아니라는 점을 발견했습니다. 그 위에 창의적인 추가 애니메이션을 더해 어색한 부분을 보완하거나 과장된 비율에 생동감을 불어넣어야 했습니다.
하순은 말합니다. “이러한 제약에도 불구하고, 이 워크플로는 기존 애니메이션 파이프라인보다 훨씬 큰 도움이 됐습니다. 특히 팀에 전통적인 캐릭터 키프레임 애니메이터가 없었던 점을 고려하면 더욱 그랬습니다.”
모든 애니메이션 보정 작업은 언리얼 엔진에서 직접 이루어졌으며, 이는 메타휴먼 애니메이터에서 얻은 고퀄리티의 퍼포먼스 데이터 덕분이었습니다.
하순은 말합니다. “애니메이션 제어 기능과 다양한 툴, 컨스트레인트나 전환 설정에 더해 실시간 렌더링까지 가능하다는 점은 정말 대단합니다.”
“특히 아주 미묘한 표정이 많은 페이셜 캡처를 다듬을 때 그 효과가 더욱 큽니다. 렌더링된 결과를 바로 화면에서 확인하면서 수정하고, 테스트하고, 반복 작업할 수 있어서 큰 도움이 되었습니다. 저희는 매우 작은 팀이라, 툴 간 데이터를 이동하는 데 시간을 쓰기보다는 작품을 발전시키는 데 집중해야 합니다."
캡처한 배우의 연기를 스타일라이즈드 캐릭터에 리타기팅하는 과정에서는 시행착오가 따랐습니다. 눈 움직임이 과하면 피아의 눈이 피부나 눈꺼풀에 파묻히는 현상이 발생했고, 특정 동작에서는 팔이 소매를 뚫고 나오기도 했습니다.
하순은 설명합니다. “텍스처 마스크와 카메라 연출, 세심한 애니메이션 보정을 통해 해결하지 못한 문제는 없었습니다.”
팀은 사실적인 캐릭터와 스타일라이즈드 캐릭터 작업의 핵심적인 차이에 있어, 모캡 보정이 단순한 '정리 작업'이 아니라는 점을 발견했습니다. 그 위에 창의적인 추가 애니메이션을 더해 어색한 부분을 보완하거나 과장된 비율에 생동감을 불어넣어야 했습니다.
하순은 말합니다. “이러한 제약에도 불구하고, 이 워크플로는 기존 애니메이션 파이프라인보다 훨씬 큰 도움이 됐습니다. 특히 팀에 전통적인 캐릭터 키프레임 애니메이터가 없었던 점을 고려하면 더욱 그랬습니다.”
모든 애니메이션 보정 작업은 언리얼 엔진에서 직접 이루어졌으며, 이는 메타휴먼 애니메이터에서 얻은 고퀄리티의 퍼포먼스 데이터 덕분이었습니다.
하순은 말합니다. “애니메이션 제어 기능과 다양한 툴, 컨스트레인트나 전환 설정에 더해 실시간 렌더링까지 가능하다는 점은 정말 대단합니다.”
“특히 아주 미묘한 표정이 많은 페이셜 캡처를 다듬을 때 그 효과가 더욱 큽니다. 렌더링된 결과를 바로 화면에서 확인하면서 수정하고, 테스트하고, 반복 작업할 수 있어서 큰 도움이 되었습니다. 저희는 매우 작은 팀이라, 툴 간 데이터를 이동하는 데 시간을 쓰기보다는 작품을 발전시키는 데 집중해야 합니다."
Inferstudio 이미지 제공
리얼타임 시네마틱 제작을 위한 언리얼 엔진
언리얼 엔진은 전체 제작의 핵심 기반이 되었으며, 엔진의 리얼타임 기능은 팀이 구현할 수 있는 범위를 근본적으로 바꿔 놓았습니다.
수는 말합니다. “이 정도 길이와 복잡도의 작업은 기존 PBR 렌더링 워크플로로는 불가능했을 것입니다. 렌더링 시간만으로도 작업이 마비됐을 것이고, 외계 풍경과 생명체와 지오메트리로 가득 찬 세계를 가로지르는 광범위한 롱테이크를 구현하는 프로젝트의 목표는 더욱 어려웠겠죠.”
팀은 언리얼 엔진의 핵심 렌더링 기술 덕분에 소규모 인원으로도 더 많은 작업을 해낼 수 있다는 것을 깨달았습니다.
수는 말합니다. “도터 오브 디 이너 스타즈 프로젝트 초기부터 루멘과 나나이트 덕분에 언리얼 엔진에서 제작하고 렌더링을 진행하기로 방향을 잡았습니다. 또한 퀵셀 메가스캔 에셋과 머티리얼에도 크게 의존했습니다.”
렌더링을 넘어, 언리얼 엔진의 실시간 협업 기능도 큰 도움이 됐습니다. 수는 말합니다. “작곡가 닉(Nick)과 제임스 감독과 온라인 회의에서 화면 공유를 통해 환경이나 카메라 움직임에 대해 실시간으로 의견을 나눌 수 있었습니다. 씬을 실시간으로 확인할 수 있는 특성 덕분에 제임스는 각 샷의 동선과 연출을 더욱 쉽게 조정하고 다듬을 수 있었습니다.”
이러한 방식을 통해 기존 파이프라인보다 훨씬 빠르게 창의적인 의사결정을 함께 내릴 수 있었습니다.
Inferstudio 이미지 제공
작은 팀이 담아내는 거대한 이야기
도터 오브 디 이너 스타즈는 실시간 렌더링, 접근성 높은 퍼포먼스 캡처, 유연한 캐릭터 툴의 조합을 통해 소규모 스튜디오도 대규모 시네마틱 경험을 제작할 수 있음을 보여주는 사례입니다.
더 나아가 이는 창작 기술 전반에서 일어나고 있는 더 큰 변화를 보여주는 지점이기도 합니다.
메타휴먼과 언리얼 엔진 같은 툴은 단순히 워크플로를 향상하는 것을 넘어, 인디 창작자들이 구현할 수 있는 가능성을 새롭게 정의하고 있습니다. 수는 정리합니다. “메타휴먼 애니메이터 출시는 이 프로젝트에 대한 저희의 목표와 접근 방식을 완전히 바꿔 놓았다고 해도 과언이 아닙니다.”
Inferstudio 이미지 제공