텍스트, 카메라, 액션! 언리얼 엔진 5로 AI 뮤직 비디오를 제작하다

2022년 7월 26일
아키라(Akira)에 영감을 받은 사이버펑크 영화를 텍스트만으로 만들 수 있다면 어떨까요? 아티스트 그룹 세이건즈(Sagans)가 앞장서서 이런 미래를 만들어 나가고자 합니다. 세이건즈는 최근 언리얼 엔진의 메타휴먼 기술에 AI 알고리즘을 결합하여 데뷔작인 뮤직비디오 코히어런스(Coherence)의 샷 대부분을 텍스트 설명만으로 만들었습니다.

그 결과, 새로운 도시에서 자신이 있을 곳을 찾아가는 한 여성을 포스트 모던적으로 묘사할 수 있었습니다. 화사한 벚꽃 나무부터 뉴욕 지하철까지, 스케치 같은 드로잉이 끊임없이 음악을 따라 흐릅니다. 세이건즈의 아티스트들은 AI가 우리의 직업이나 세계를 빼앗도록 설계된 무서운 존재라는 고정 관념에서 벗어날 수 있음을 보여줬습니다. AI가 완전히 새로운 창작의 가능성을 열어줄 핵심이 되고 있습니다.
 

음악 업계를 뒤흔들다

세이건즈의 3D 스페셜리스트 아우렐리앙(Aurelien)에 따르면, 코히어런스는 세이건즈가 달성하려는 것 그 자체라고 합니다. 아우렐리앙이 설명합니다. “저희는 음악 업계가 돈이 안 되는 일에는 위험을 감수하지 않는 편이라 생각했죠. 이는 정통 콘텐츠의 감소로 이어졌고 그래서 세이건즈를 시작하게 되었습니다.”
 

뮤지션, 그래픽 디자이너, 연구원으로 이뤄진 세이건즈 그룹은 노래가 완성되기까지 기다리지 않아도 첫 뮤직 비디오를 시작할 수 있었습니다. 덕분에 시간도 벌고 인공 지능과 리얼타임 그래픽 같은 기술을 통해 비전을 실현할 방법을 자유롭게 모색할 수 있었습니다.

아우렐리앙이 말합니다. “가장 먼저 사용하기로 한 기술은 언리얼 엔진 5였어요. 퀵셀 에셋 라이브러리로 세계관을 만들기 시작했는데, 곧 메타휴먼 크리에이터로 사실적인 캐릭터를 만들었습니다. 그걸로 모든 게 바뀌었습니다. 아름다운 작품을 정말 빠르게 만들 수 있게 되었죠. 이제 코히어런스를 시작할 준비가 되었구나 생각했습니다.”
 
Sagans 비디오 제공

AI를 더하다

우선, 팀은 가츠히로 오토모(Katsuhiro Otomo)의 유명한 아키라 애니메이션 스타일을 뮤직 비디오의 미학 기반으로 삼았습니다. 다음 단계는 뮤직 비디오의 주인공을 만드는 것이었습니다. 아우렐리앙이 말합니다. “저희는 언리얼 엔진으로 작업하기 전까지는 3D 세계를 잘 몰랐습니다. 그런 저희의 눈에는 캐릭터 제작이 아주 어려운 일처럼 보였죠. 다행히 메타휴먼 크리에이터 덕분에 일이 쉬워졌습니다.”
Sagans 이미지 제공
시청자가 친숙하게 느낄 수 있는 사람을 만들기 위해 팀은 메타휴먼 데이터베이스의 세 얼굴의 요소를 블렌딩하여 만족스러운 결과물을 얻을 수 있었습니다. 다음으로는, iOS의 라이브 링크 페이스(Live Link Face) 앱으로 캐릭터의 얼굴 표정을 애니메이팅했습니다. 그와 동시에 세이건즈 아티스트들은 퀵셀로 비디오의 언리얼 엔진 환경을 만들기 시작했는데, 여기에는 영국의 길거리부터 일본, 뉴욕 지하철까지 포함되었습니다.
 
Sagans 비디오 제공

아우렐리앙이 설명합니다. “환경을 만들 때는 루멘이 큰 도움이 됐습니다. 하드웨어 리소스를 많이 쓰지 않고도 라이팅을 실시간으로 작업할 수 있었죠. 비 같은 파티클에 사용한 나이아가라까지 더해지니, UI에서 본 것과 똑같이 대응하는 렌더를 몇 초 만에 만들 수 있었습니다.”

마지막 단계는 언리얼 엔진 결과물을 씬의 필요에 따라 세 가지 AI 알고리즘을 돌려서 오토모 스타일의 결과물로 만드는 것이었습니다. 첫 번째 알고리즘 덕분에 세이건즈 아티스트들은 텍스트로 씬의 스타일을 설명한 다음, 비디오로 볼 수 있었습니다. 두 번째 알고리즘에서 레퍼런스 이미지를 애니메이션 비디오로 만들면, 마지막 알고리즘이 라이브 액션 영화를 스타일라이즈드 애니메이션 결과물로 만들었습니다.

아우렐리앙이 말합니다. “텍스트 투 비디오 알고리즘을 샷 대부분에 사용했습니다. Disco Diffusion 5로 각각의 프레임을 만들고 나면, 알고리즘을 통해 비디오로 바꿨죠. 텍스트가 아주 디테일해야 했습니다. 스타일을 설명하고 빈틈이 없을 정도로요. 하늘을 따로 언급하지 않으면, 머신은 도시 위에 하늘이 있어야 한다는 사실을 잊어버리고 맙니다. 첫 프레임을 잘 만들고 나면, 원하는 카메라 움직임에 따라 다음 프레임을 만들기 위한 설명이 충분한지 확인하고, 20번째 프레임에서 마지막으로 렌더를 확인했습니다.”

'언리얼'한 결과물

독특한 리얼타임 3D 및 AI 워크플로 덕분에, 세이건즈가 코히어런스의 첫 번째 샷부터 최종 렌더까지 만드는 데 걸린 시간은 8주에 불과했습니다. 아우렐리앙이 덧붙입니다. “사용하기 간편하면서도 저희 비전을 빠르게 실현할 솔루션을 원했는데, 언리얼 엔진은 저희를 실망시키지 않았습니다. 클릭 몇 번이면 아주 디테일한 캐릭터와 도시 환경을 만들고, 모션 캡처 수트 없이도 주인공을 애니메이팅할 수 있었습니다.

이제 코히어런스를 완성한 세이건즈는 앞으로도 뮤직 비디오 프로젝트에 언리얼 엔진과 AI를 사용할 예정입니다. 아우렐리앙이 말합니다. “첫 콘텐츠 출시는 항상 떨리는 일이지만, 코히어런스를 본 시청자들의 반응은 대단했습니다. 저희는 인공 지능이 우리 일자리를 빼앗는 것이 아니라 도움을 주고 영감을 불러일으킨다는 점을 사람들이 이해하기를 바랐고, 이 비디오는 그 첫 단계입니다.”

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요
    이벤트
    1월 17일

    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요

    스테이트 오브 언리얼에서 에픽과 에픽 파트너사의 최신 소식을 확인해 보세요. 또한 에픽의 테크 토크를 통해 자세한 내용을 알아보고 세션과 러닝 시어터에서는 영감을 얻고 정보를 받아보세요.
    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요
    이벤트

    GDC 2024에 온라인 또는 오프라인으로 참여해 보세요

    스테이트 오브 언리얼에서 에픽과 에픽 파트너사의 최신 소식을 확인해 보세요. 또한 에픽의 테크 토크를 통해 자세한 내용을 알아보고 세션과 러닝 시어터에서는 영감을 얻고 정보를 받아보세요.
    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월
    뉴스
    2월 6일

    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월

    판타지 실내 환경, 스타일라이즈드 수정 광산, 90년대풍 레트로 TV 등, 언리얼 엔진 마켓플레이스의 2월 무료 3D 에셋을 공개합니다!
    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월
    뉴스

    언리얼 마켓플레이스 무료 콘텐츠 - 2024년 2월

    판타지 실내 환경, 스타일라이즈드 수정 광산, 90년대풍 레트로 TV 등, 언리얼 엔진 마켓플레이스의 2월 무료 3D 에셋을 공개합니다!
    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요
    뉴스
    2월 5일

    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요

    레트로 카페, 전원풍 인테리어, 로우 폴리 마을, 커스터마이징 가능한 NPC 캐릭터 등, 2월 마켓플레이스 세일에는 누구나 사용할 수 있는 에셋이 준비되어 있습니다. 지금 바로 엄선된 이달의 콘텐츠를 50% 할인된 가격으로 만나보세요.
    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요
    뉴스

    2월 마켓플레이스 세일: 2,000개 이상의 에셋을 50% 할인된 가격으로 만나보세요

    레트로 카페, 전원풍 인테리어, 로우 폴리 마을, 커스터마이징 가능한 NPC 캐릭터 등, 2월 마켓플레이스 세일에는 누구나 사용할 수 있는 에셋이 준비되어 있습니다. 지금 바로 엄선된 이달의 콘텐츠를 50% 할인된 가격으로 만나보세요.