ONENESS: 학생들이 촉박한 일정 속에서 언리얼 엔진으로 완성한 대형 돔 전시작

서울예술대학교 학생들은 수업을 통해 양질의 언리얼 엔진 교육을 수료합니다. 5명으로 구성된 어느 학생 팀이 2년간의 언리얼 엔진 수업 경험을 바탕으로 대형 돔에 상영할 작품을 3개월만에 완성했습니다. 이들이 짧은 기간 동안 난관을 어떻게 극복하여 높은 퀄리티의 작품을 완성할 수 있었는지 알아보세요.
By 이현우 |
2021년 1월 20일
서울예술대학교 디지털아트 전공의 재학생인 이현우는 언리얼 엔진에 다양한 센서를 연동하는 인터랙티브 전시 및 공연 콘텐츠를 활발히 제작해 왔습니다. 주로 프로젝트의 아트와 테크 전반에 기여하는 것을 지향하며, 콘텐츠 개발 및 디자인을 수행해 왔습니다. 김규리, 이예송, 김주열, 김지원과 함께 학생 5인팀으로 구성된 ONENESS 프로젝트에서는 감독과 테크니컬 아티스트를 맡아 팀을 이끌었습니다.
안녕하세요, 저희는 한국의 서울예술대학교 학생팀이며 4명의 디지털아트 전공과 한 명의 실용음악 전공 학생으로 구성되어 있습니다. 오늘은 지난 8월 국립과천과학관의 천체투영관에서 상영된 저희 작품이자 Student Showcase Fall 2020에 선보였던 ONENESS에 대해 소개드리고자 합니다.
 

서울예술대학교의 언리얼 엔진 교육

학생 신분으로 이러한 작품을 제작할 수 있었던 배경에는 서울예술대학교만의 특별한 언리얼 엔진 교육이 있었습니다. 서울예술대학교는 미디어 아트 창작에서의 언리얼 엔진의 가능성에 주목하여, 2011년부터 디지털 아트 전공 학생들에게 언리얼 엔진을 가르쳐오고 있습니다. 이 수업에서 학생들은 언리얼 엔진의 기초를 다지고, 건축 시각화, 시네마틱 영상, 게임 제작 과제를 거치며 언리얼 엔진을 다방면으로 활용하는 방법에 대해 배우게 됩니다.

이를 바탕으로 많은 학생들은 VR, AR, 인터랙티브 공연 및 전시 등 바로 현업에 도전할 경험을 효과적으로 쌓고 있습니다. 저희 팀도 그 중 하나로, 지난 2년동안 시네마틱 영상, 인터랙티브 아트, 미디어 퍼포먼스 등 언리얼 엔진으로 다양한 작품 활동을 이어오고 있습니다.
 

ONENESS의 시작과 국립과천과학관 천체투영관 상영

ONENESS는 우주의 실감나는 감상을 위해 VR 영상 콘텐츠로 시작된 프로젝트였습니다. 그러나 개발 도중 국립과천과학관의 천체투영관 영화제 개최 소식을 접한 후  이에 맞게 전환한 프로젝트입니다.

문제는 시간이었습니다. 대형 돔 형태의 천체투영관에 상영할 콘텐츠는 제작에 상당한 시간과 비용이 수반되어 콘텐츠 제작이 쉽지 않은 만큼 영화제까지 남은 3개월 동안 대형 돔 스크린에 상영할 15분 내외의 영상을 완성해야하는 어려운 도전이었죠. 하지만 지름이 25미터나 되는 천체투영관에서 작품을 상영할 수 있다는 것은 상상만으로도 벅찬 기회였고, 무엇보다도 언리얼 엔진의 강력한 리얼타임 렌더링과 함께라면 분명 가능하다는 생각이 들었습니다. 그래서 저희는 VR 콘텐츠로 시작했던 ONENESS를 천체투영관 프로젝트로 전환하기로 결정하고, 언리얼 엔진으로 천체투영관 영화 제작에 도전하게 되었습니다.
국립과천과학관 천체투영관의 전경과 내부
천체투영관 전시 장면

기획

ONENESS는 인간과 우주라는 주제를 담고 있는 프로젝트입니다. 우주의 역사가 곧 우리 인간의 또다른 기억이기도 하다는 의미를 전달하고 싶었습니다. 이를 위해 빅뱅으로 부터 인간의 시대까지의 긴 시간을 15분으로 압축하고, 마치 한 사람의 일생을 따라가듯 원테이크로 담아내고자 하였습니다. 또한 영상은 예술적인 연출을 기반해서 전반적인 전개 방식과 주요 핵심 장면들에서는 과학적 사실을 충분히 반영하고자 하였습니다. 이를 위해 많은 우주과학에 대한 이론을 공부하며 장면들을 구상하였고, 천체물리학 교수님과 연구자 분들에게 검증과 자문을 구하기도 하였습니다. 물론 언리얼 엔진의 블루프린트와 나이아가라가 없었다면 이러한 구상을 실제로 구현하기는 어려웠을 것입니다.
모든 생물의 공통조상 루카의 탄생을 표현한 장면

나이아가라 파티클

ONENESS는 대부분의 장면이 우주공간으로 구성되어, 구체적인 물체보다는 추상적인 입자 표현이 작품 표현의 핵심을 이루는 만큼, 작품에 파티클이 핵심적인 역할을 해야했죠. 따라서 저희는 언리얼 엔진의 새로운 파티클 시스템인 나이아가라를 적극적으로 활용해보기로 결정했습니다.

나이아가라의 모듈 스택 방식은 매우 직관적이어서, 나이아가라를 처음 다뤄보는 아티스트도 원하는 파티클을 쉽게 제작할 수 있었습니다. 그러나 나이아가라 에디터에서 파티클을 완성한 뒤 시퀀서에 적용해봤을 때, 이러한 일반적인 이펙트 작업 방식으로는 디테일한 영상 연출에 제약이 있다는 것을 알게 되었죠. 
 
시퀀서의 키프레임 애니메이션에 맞춰 나이아가라 파티클도 여러 요소의 타이밍이 맞아야 했는데, 나이아가라 에디터에서 작업하는 방식으로는 이를 정교하게 맞추기가 어려웠기 때문이었습니다. 모든 연출이 시퀀서 안에서 완성되기에, 나이아가라 역시 시퀀서에서 실시간으로 프리뷰하며 제어할 방법이 필요했습니다.

다행히도 나이아가라의 유저파라미터가 이를 위한 기능을 제공하고 있었습니다. 유저파라미터를 시퀀서에서 호출해 키프레임으로 제어하는 것이 가능했죠. 
나이아가라와 시퀀서 작업화면
파티클의 투명도, 크기, 속도 등 영상 연출에 맞춰 다이내믹하게 컨트롤해야 하는 모듈 변수들을 유저파라미터로 대체하고, 이를 시퀀서에서 제어하기 시작했습니다. 다른 액터들처럼 나이아가라 역시 시퀀서에서 실시간으로 결과를 확인할 수 있게 되자, 작업 과정에서 곧바로 통합된 씬을 확인할 수 있어 시네마틱 작업 과정이 크게 개선되었죠. 더 정교한 작업이 가능했고, 더 다양한 연출을 빠르게 시도해볼 수 있었습니다.
나이아가라 활용 장면전환
이 시퀀서에서의 유연한 나이아가라 컨트롤은 원테이크 연출에 특히 핵심적인 역할을 했습니다. 다수의 나이아가라 시스템을 동시에 확인하고 제어할 수 있었던 덕분에, 주요 장면 전환부를 컷편집이나 어설픈 트릭 없이 매우 자연스럽게 연결할 수 있었습니다.

블루프린트 시뮬레이션 제작

ONENESS는 우주의 역사 속에서 일어났던 사건과 물리현상을 모방하는 장면들이 주를 이뤘습니다. 대다수의 시네마틱 작업이 그렇듯, ONENESS도 이러한 장면들을 시퀀서의 키프레임 애니메이션 작업을 통해 완성해가고 있었죠. 하지만 시퀀서 기반의 작업방식으로는 완성하기 어려운 매우 도전적인 장면들이 있었는데, 그 중 하나가 빅뱅 이후 10^-6초부터 38만년까지의 시기를 표현해야 하는 장면이었습니다. 이 장면에서는 양성자와 중성자가 핵력과 전자기력에 의해 서로 융합하고 밀쳐내며 네 종류의 원자핵을 구성하고, 원자핵이 지닌 양성자의 수만큼 전자를 붙잡아 원자를 구성하는 과정을 표현해야 했습니다.
양성자와 중성자의 핵융합 분기
이러한 복잡한 상호작용이 환경 전반에 걸쳐 광범위하게 일어나야 했는데, 수백 개에 달하는 객체에 이런 논리적인 관계까지 제대로 반영된 애니메이션을 키프레임만으로 직접 작업하는 것은 불가능에 가까웠습니다. 시퀀서를 대신해 더 효율적으로 장면을 완성할 다른 대안이 필요했죠.

저희가 주목한 대안은 블루프린트였습니다. 양성자와 중성자가 헬륨이 되어가는 반응 과정을 정의하고 블루프린트로 입자들이 이 정의에 따라 스스로 움직이고 반응하도록 설계하면, 시퀀서에서의 애니메이션 키프레임 작업 없이 시뮬레이션만으로도 장면을 완성시킬 수 있겠다는 생각이 들었습니다. 이를 구현하기 위해 우선 양성자와 중성자 클래스를 정의하는 작업을 시작했습니다.
중성자 블루프린트와 개념도
이것이 저희가 양성자와 중성자 클래스를 구현한 방식입니다. 모든 입자는 자신의 현재 상태를 기억한 채로 공간을 떠돌다가, 중첩 반응이 일어났을 때 서로의 상태에 맞는 행동을 취하게 됩니다. 예를 들자면, 양성자가 중수소를 만났을 때에는 서로 융합해 헬륨-3 원자핵이 되고, 헬륨-3 원자핵이 서로를 만났을 때는 헬륨-4 원자핵으로 융합하고 양성자 두 개를 방출하는 방식입니다. 반응이 일어나는 순간의 입자의 움직임과 머티리얼 애니메이션은 시퀀서 대신 블루프린트의 타임라인 기능을 사용하였습니다. 

물체의 상호작용과 애니메이션 등을 블루프린트에서 구현한 덕분에, 다음의 장면들은 복잡한 시퀀서 작업 없이 완성할 수 있었습니다. 시퀀서에서 한 일이라고는 클래스의 몇몇 이벤트를 원하는 시간에 실행시키기 위한 이벤트 키프레임 몇 개를 추가한 것이 전부였죠. 
원자형성 시뮬레이션
원시태양계 행성형성 시뮬레이션
이러한 과학적 현상들을 시퀀서에서 구현하기에는 상당한 어려움이 있었을 겁니다. 하지만 블루프린트에서 자동으로 시뮬레이션되도록 설계해둔 덕분에, 복잡한 장면을 효율적으로 완성하고 더 많은 시간을 다른 장면에 할애할 수 있었습니다.

VR 천체투영관 사전시각화

프로젝트의 가장 큰 도전은 반구형의 천체투영관 영상을 만드는 일이었습니다. 작업 중이던 이미지를 처음으로 천체투영관에서 확인해봤을 때, 상영될 환경을 나름대로 고려하여 작업했음에도 불구하고, 실제 상영 결과가 예상과 너무나도 달랐다는 점에서 이것이 얼마나 어려운 일인지를 깨닫게 되었죠.

첫 번째 문제는 스크린의 지름이 무려 25미터에 달하여 구도나 스케일이 예상과 다르다는 것이었습니다. 거대한 천체투영관 스크린에 맞춘 새로운 구도와 배치를 구상해야 한다는 것을 알게 되었죠. 두 번째 문제는 스크린이 반구형이기 때문에 발생하는 왜곡이었습니다. 평면의 이미지가 반구형의 입체스크린에 프로젝션될 때 가장자리에서 크게 왜곡이 발생한다는 것을 알게 되었죠. 이러한 문제들로 인해 도저히 감상이 불가능한 수준이었고, 해결하기 위해서는 작업 환경과 상영 환경 사이에 많은 피드백 과정이 필요하다는 것을 알게 되었습니다. 
렌더링 이미지와 실제 비교
하지만 진짜 큰 문제는 바로 피드백 과정이 비효율적이라는 점 이었습니다. 모니터 작업 과정에서는 상영 시 발생할 수 있는 문제들을 미리 예측할 수가 없어, 직접 천체투영관에 방문해 상영 테스트를 해야지만 피드백을 얻을 수 있었는데, 현장테스트를 보름에 한 번 정도만 진행할 수 있는 데다 이 테스트를 준비하는 데에만 이틀 정도의 시간이 소요되었기 때문입니다. 

영화제까지 2개월 정도가 남은 시점에서, 남은 네 번의 테스트로는 결코 이 문제들을 바로잡지 못할 것이 분명했습니다. 피드백 과정을 획기적으로 개선시켜줄 새로운 프로세스가 필요했죠. 현장에 가지 않고도 테스트할 방법을 강구하다 떠오른 것이 바로 VR이었습니다. 가상의 천체투영관을 만들어 VR 안에서 테스트를 해보자는 아이디어가 떠오른 것이죠.
가상천체투영관
VR 천체투영관의 목표는 VR로 실제와 동일한 환경을 구축해, 실제의 경험을 대체하는 것이었습니다. 그래서 25미터의 반구형 돔, 10도의 경사, 좌석배치와 높이 등 실제 천체투영관의 모습을 그대로 반영해 가상의 천체투영관을 제작했습니다. 그리고 돔 메시에 머티리얼로 이미지 또는 영상소스를 맵핑할 수 있도록 구성했습니다. 천체투영관을 언리얼 엔진 안에서 실제와 동일하게 재구성한 것이죠. 그리고 VR을 이용해 가상현실에서 이를 체험해 봤습니다. 
가상천체투영관 VR 활용
결과는 매우 성공적이었습니다. 실제 천체투영관에서의 경험을 VR 천체투영관에서도 유사하게 얻을 수 있었죠. 더이상 오랜 시간을 준비해 현장에서 확인할 필요 없이, 테스트가 필요할 때면 즉시 VR 안에서 테스트를 진행하고 피드백을 얻을 수 있게 되었습니다. 천체투영관 영상작업의 프로세스도 리얼타임 엔진에 걸맞게 즉각적인 피드백이 가능해진 것이었죠. 배치와 구도를 바로잡고 왜곡을 맞춰나가는 피드백 과정이 이전과는 비교할 수 없는 속도로 이뤄지기 시작했습니다.
 

이러한 방법을 사용한 덕분에 영화제 출품 전까지 천체투영관 영상을 빠르게 안정시킬 수 있었고, 비교적 짧은 제작기간이었던 ONENESS 프로젝트를 성공적으로 마무리할 수 있었습니다.

결론

여기까지가 저희가 지난 3개월 동안 ONENESS를 창작한 과정이었습니다. 촉박한 일정 속에서 고퀄리티의 작품을 제작해야 했던 ONENESS 프로젝트는 언리얼 엔진의 리얼타임 렌더링, 시네마틱 영상을 위한 강력한 기능, 비주얼 스크립팅의 직관성이 없었다면 결코 성공할 수 없었을 것입니다. 언리얼 엔진은 저희의 상상을 현실로 옮겨주는 가장 강력한 도구입니다. 저희 팀은 앞으로도 언리얼 엔진과 함께 다양한 작품활동을 이어나갈 것입니다.

나이아가라를 시퀀서와 블루프린트에서 활용한 방법, 시퀀서 작업 효율을 높이는 팁 등 ONENESS의 구현 노하우에 대해서는 에픽 라이브에서 영상으로 자세히 살펴보실 수 있습니다.

    더 많은 학습 콘텐츠를 보기 원하시나요?

    100시간이 넘는 핸즈온 영상 강좌와 학습과정을 보시려면 언리얼 온라인 러닝 포털을 방문해 보세요.