FOX Entertainment 이미지 제공. ALTER EGO™ & © 2021 by Fox Media LLC

버추얼 가수의 등장: Fox의 Alter Ego 제작기

2021년 12월 14일
얼터 에고(Alter Ego)는 방송에서 처음으로 선보이는 형식의 노래 경연대회입니다. 우선 황금 시간대에 방영하는 폭스(Fox) 사의 11부작 쇼는 여러분에게 익숙해 보일 수도 있습니다. 프로로 인정받고 싶은 참가자와, 심사위원으로 선정된 유명 인사 그라임스(Grimes), 윌 아이 엠(Will.I.Am), 닉 러셰이(Nick Lachey), 앨라니스 모리셋(Alanis Morissette) 그리고 200명의 팬으로 이루어진 라이브 청중이 등장합니다. 다만 얼터 에고에는 한 가지 큰 차이가 있습니다. 얼터 에고의 무대에서 라이브 공연을 펼치는 모든 참가자가 아바타라는 점이죠.

아바타는 단순히 가수들에게 공연을 위한 새로운 페르소나 그 이상의 이미가 있습니다. 제작팀은 노래 경연대회의 새로운 미래를 재창조하고 있습니다. 디지털 페르소나와 그 독특한 목소리를 이용해 평범한 경연대회로 끝날 수 있었던 쇼를 특별한 경험으로 바꾸고 있죠. 아바타의 아름다운 모습부터 참가자의 나이까지 다양한 면에서 대중 음악에 대한 고정관념을 타파하고 있습니다.
FOX Entertainment 이미지 제공. ALTER EGO™ & © 2021 by Fox Media LLC
익숙한 형식에 과감한 변화를 시도했습니다. 하지만 이처럼 혁신적인 작업은 언제나 난관에 부딪히기 마련입니다.

룰루 AR(Lulu AR)의 책임 프로듀서 겸 얼터 에고의 공동 책임 프로듀서 마이클 진먼(Michael Zinman)은 말합니다. “처음엔 저도 안 될 거라고 생각했습니다. 모션 캡처 슈트를 입고 노래하는 아바타를 무대에 등장시키는 건 충분히 가능합니다. 문제는 어떻게 공연을 하루에 10번씩 하고, 예산에 맞추고, 대회의 투명성을 유지하느냐는 거였죠. 그것도 네트워크와 무대의 프로듀서들을 통해서 말입니다. 실제 사람들이 하는 공연처럼 연출해야 했습니다.”
 

차세대 팝스타 만들기

아바타를 향한 관심을 모으려면 무대 안팎에서 모션 캡처 기능이 필요했습니다. 그래서 진먼은 캡처 프로세스뿐만 아니라 캐릭터 작업도 하는 실버 스푼 애니메이션(Silver Spoon Animation)과 협력했습니다. 6주 안에 20명의 캐릭터를 생성하고, 이 캐릭터들이 관객과 감정적으로 교류하며 라이브 심사를 견디도록 만들어야 했죠.

우선 50명의 아티스트로 이루어진 팀이 참가자와 작업하여 4가지의 다른 의상 옵션과 참가자별 비주얼 이펙트로 자신의 무대 페르소나를 정확하게 반영할 캐릭터를 디자인하기 시작했습니다.
이후 14대의 카메라로 쇼의 모든 공연을 라이브 캡처하는데, 그중 8대는 스타입(stYpe) 트래킹 기술에 맞게 조정했습니다. 눈동자 색, 키, 특수 효과 같은 아바타 데이터와 모션 캡처 데이터, 라이팅 데이터, 카메라 데이터 등이 메인 무대 뒤에 있는 언리얼 엔진의 허브로 전송됩니다.
FOX Entertainment 이미지 제공. ALTER EGO™ & © 2021 by Fox Media LLC
그 결과 무대 뒤에서 모션 캡처 퍼포먼스를 하나도 놓치지 않고 전부 반영하는 버추얼 아바타가 완성되었습니다. 참가자가 울면 아바타도 울음을 터뜨리고, 얼굴을 붉혀도, 손가락으로 머리를 매만져도 아바타가 그대로 같은 행동을 합니다. 세트장 모니터로 모든 최종 공연을 직접 볼 수 있으므로, 라이브 청중들이 컴퓨터로 만든 이미지로 인해 거리감을 느끼지 않고 캐릭터와 교감하며 공연에 몰입할 수 있었습니다.
FOX Entertainment 이미지 제공. ALTER EGO™ & © 2021 by Fox Media LLC
실버 스푼 애니메이션의 매니징 디렉터 댄 팩(Dan Pack)이 덧붙입니다. “DMX는 얼터 에고의 핵심이었습니다. 덕분에 라이팅 프로그래머, 디렉터, 프로덕션 담당자가 캐릭터의 수없이 많은 컨트롤을 조작할 수 있었죠. 기존 렌더링 파이프라인과 비교해 보면, 언리얼 엔진에는 포스트 단계에서의 렌더링으로 많은 시간이 걸리던 대규모의 변경 사항을 미리 파악할 수 있다는 장점이 있습니다. 즉 DMX 컨트롤 패널로 캐릭터의 헤어 색상, 눈동자 색상, 텍스처를 변경하고 이펙트를 바꿀 수 있었죠. 저희는 리얼타임 세팅에서 DMX를 그 어느 때보다 강력하게 추진했습니다.”
진먼은 말합니다. “얼터 에고 같은 쇼를 연출하려면 언리얼 엔진의 DMX 기능이 필요합니다. 저희 팀은 모두 DMX와 프로토콜을 사용할 수 있죠. DMX는 네트워크 대회 쇼를 일정 안에 개최하기 위한 유일한 방법입니다. 라이팅 디렉터가 한 콘솔에서 버추얼 및 실제 스튜디오 라이트를 프로그래밍하고, 다른 콘솔에서 캐릭터를 프로그래밍하는 식으로 리허설 시간을 단축할 수 있습니다. 이런 식으로 하루에 각기 다른 10번의 공연을 치러낸 겁니다.”

이와 함께 실버 스푼은 언리얼 엔진의 라이브 링크 기능을 활용하여 10개 이상의 모캡 인스턴스에서 아바타로 데이터를 스트리밍했습니다. 사실상 대기 시간이 거의 없는 언리얼 엔진은 액터로부터 캡처한 고품질 애니메이션을 실시간으로 아바타에 렌더링할 수 있습니다. 라이브 링크는 전용 라이브 링크 페이스 앱을 통해 페이셜 애니메이션에도 사용되는데, 이 앱을 통해 페이셜 퍼포먼스를 iPhone이나 iPad를 통해 캡처하여 언리얼 엔진에서 실시간으로 렌더링할 수 있습니다. 라이브 링크를 사용하면 얼터 에고가 Vicon 데이터 패킷 전용 플러그인을 작성할 필요가 없어져 스켈레탈 메시를 자유롭게 애니메이팅할 수 있게 되었습니다.

더욱 다양한 경험으로 확장되는 미래

제작을 완료할 때까지 실버 스푼과 룰루 AR은 포스트 프로덕션 없이 80번 이상의 공연, 다시 말해 12시간 분량의 콘텐츠 제작을 도왔습니다.

팩은 말합니다. “이번 쇼를 만들면서 부담이 컸습니다. 황금 시간대에 이 정도 규모의 작업은 처음이었죠. 언리얼 엔진은 엔진으로 직접 리얼타임 파티클 시뮬레이션, 리얼타임 헤어 시뮬레이션, 리얼타임 라이팅을 만들 수 있는 수준에 이르렀습니다. 보통은 포스트 프로세싱 과정에서 완성해야 할 놀라운 이펙트를 실시간으로 구현할 수 있죠.”
FOX Entertainment 이미지 제공. ALTER EGO™ & © 2021 by Fox Media LLC
결과는 어땠을까요? 무대 공포증이 심하거나 TV에 출연하기 어려운 아티스트들도 마침내 자신을 표현할 수 있는 새로운 수단인 버추얼 아바타를 통해 성공을 거머쥘 수 있었습니다. 관객들은 물리적인 규칙 대신 무한한 상상력이 보여주는 새로운 길을 경험하게 되었습니다. 얼터 에고는 버추얼 아바타들이 황금 시간대에 진출할 수 있다는 사실을 증명했습니다. 이제 다음 시즌이나 프로그램, 아바타를 이용한 더 큰 무언가의 탄생을 막을 것은 아무 것도 없습니다.

그럼 계속 주목해 주세요!

Fox Now, Hulu, Tubi에서 지금 바로 시즌 1을 감상해 보세요!

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
    <em>애니메이션의 미래</em>
    이벤트
    6월 27일

    애니메이션의 미래

    애니메이션의 미래 이벤트에 참여해 보세요. 산업을 선도하는 리더들의 성공을 축하하고, 이제 애니메이션에 입문한 분들께는 유용한 리소스를 공유합니다.
    <em>애니메이션의 미래</em>
    이벤트

    애니메이션의 미래

    애니메이션의 미래 이벤트에 참여해 보세요. 산업을 선도하는 리더들의 성공을 축하하고, 이제 애니메이션에 입문한 분들께는 유용한 리소스를 공유합니다.
    언리얼 엔진용 메타휴먼 플러그인과 더 많은 새로운 기능을 만나보세요!
    뉴스
    6월 9일

    언리얼 엔진용 메타휴먼 플러그인과 더 많은 새로운 기능을 만나보세요!

    이번 메타휴먼 프레임워크 버전에서는 메타휴먼 크리에이터의 새로운 기능과 언리얼 엔진용 신규 메타휴먼 플러그인뿐만 아니라, 언리얼 엔진 5의 새로운 캐릭터 리깅, 애니메이션, 피직스 기능 지원도 추가되었습니다.
    언리얼 엔진용 메타휴먼 플러그인과 더 많은 새로운 기능을 만나보세요!
    뉴스

    언리얼 엔진용 메타휴먼 플러그인과 더 많은 새로운 기능을 만나보세요!

    이번 메타휴먼 프레임워크 버전에서는 메타휴먼 크리에이터의 새로운 기능과 언리얼 엔진용 신규 메타휴먼 플러그인뿐만 아니라, 언리얼 엔진 5의 새로운 캐릭터 리깅, 애니메이션, 피직스 기능 지원도 추가되었습니다.
    언리얼 엔진 5가 출시되었습니다!
    뉴스
    4월 5일

    언리얼 엔진 5가 출시되었습니다!

    언리얼 엔진 5는 팀의 규모에 상관없이 모두에게 비주얼과 인터랙션의 무한한 가능성을 제공하는 것을 목표로 합니다. UE5는 그 어느 때보다 더 높은 자유도와 고퀄리티 그리고 유연성으로 차세대 리얼타임 3D 콘텐츠와 경험을 만들 수 있도록 지원합니다.
    언리얼 엔진 5가 출시되었습니다!
    뉴스

    언리얼 엔진 5가 출시되었습니다!

    언리얼 엔진 5는 팀의 규모에 상관없이 모두에게 비주얼과 인터랙션의 무한한 가능성을 제공하는 것을 목표로 합니다. UE5는 그 어느 때보다 더 높은 자유도와 고퀄리티 그리고 유연성으로 차세대 리얼타임 3D 콘텐츠와 경험을 만들 수 있도록 지원합니다.