Mike Killian 이미지 제공

AR 비행 시스템: 비행 훈련의
새로운 길을 열어준 Red 6

2021년 7월 27일
5만 피트 상공에서 근접전을 훈련하려면 어떻게 해야 할까요? 수십 년 전 최초의 전투기가 이륙했을 때부터 군에서는 이 질문을 고민해 왔습니다. 그동안 미 공군에서는 지상 VR 시뮬레이터와 동료 간의 공중 전투 연습을 활용해 왔지만, 두 가지 방법 모두 조종사가 실제 적과 조우하는 경우를 완벽히 대비할 수는 없습니다.

2018년에 설립된 AR 플랫폼 회사 레드 6(Red 6)의 AR 비행 시스템에서는 커스터마이징된 AR 헬멧과 바이저를 착용한 조종사가 Windows 10 PC, 센서, 언리얼 엔진이 탑재된 항공기를 타고 비행에 나섭니다.
 

조종사는 AR 바이저를 통해 스테레오스코픽 3D에서 투사된 하나 이상의 CG 적 전투기와 실제 환경을 모두 볼 수 있습니다. CG로 생성된 적 전투기는 실제 전투기와 동일하게 움직이기 때문에 조종사는 본인이나 전투기에 실제적인 위험이 없는 상태로 사실감 있는 위협 환경을 경험하게 됩니다. 이러한 시스템을 통해 조종사는 완벽한 대응이 이루어질 때까지 동일한 시나리오를 반복적으로 훈련할 수 있습니다.
Mike Killian 이미지 제공
과거에는 이러한 시스템이 불가능하다고 여겨졌습니다. 비행 시뮬레이션이 새로운 기술은 아니지만 비행 중 조종사의 헬멧에서 실행되며 뷰와 움직임이 무척 사실적이라는 점은 전투기 조종사 훈련에 있어 획기적인 발전입니다.

레드 6의 창립자이자 최고 과학 책임자인 닉 비차니치(Nick Bićanić)에 따르면, 기존에 군에서 사용하던 헤드업 디스플레이는 필드 오브 뷰(FOV)가 매우 좁으며 때때로 한쪽 눈에 한 가지 색만 표시하기도 합니다. 또한 이와 같은 시스템은 기본적인 기호 체계와 항공 데이터에 대해서는 잘 작동하지만 리얼리티 시뮬레이션에는 사용할 수 없다고 덧붙입니다.

비차니치는 말합니다. “레드 6 시스템에서는 일광에서도 보이는 쌍안 시스템을 통해 비행 중 조종사의 필드 오브 뷰가 105도 이상이며 모든 색을 볼 수 있습니다. 조종사가 보게 되는 인공 전투기는 실재하지 않지만, 실제 전투기가 움직이는 것처럼 느껴집니다. 이걸 체험하신 분들은 저에게 와서 '정말 놀라워요. 바로 이런 게 필요합니다. 언제쯤 이런 게 도입되나요?'라고 이야기하곤 하죠.“

새로운 솔루션의 필요성 대두

미 공군에서는 전투기 조종사를 훈련시키기 위해 지상 VR 시뮬레이터와 더불어 비행 중 라이브 전투 연습을 활용해 왔습니다. 이러한 훈련은 이로운 점도 있지만 단점이 많았습니다. 그중 하나는 비용이 굉장히 많이 든다는 것입니다. 조종사 한 명당 수백 시간의 비행이 필요하며 이는 시뮬레이션된 적 또한 수백 시간의 비행이 필요하다는 것을 의미합니다. 이는 연료와 물류에 시간당 $60,000~$90,000의 지출을 초래하여, 결과적으로 연간 수십 억 달러의 지출이 발생합니다. 무형의 비용 또한 발생합니다. 이처럼 적군 역할로 추가로 비행하는 시간은 세션 중 실제 훈련을 받는 게 아니기 때문에 피로감이 엄청납니다.

그리고 이러한 훈련에는 충돌이나 사고의 위험이 존재합니다. 레드 6의 창립자이자 CEO인 다니엘 로빈슨(Daniel Robinson)은 말합니다. “빠른 속도, 고중력 상태에서 근접하여 훈련하는 것은 매우 위험한 일입니다. 상당한 위험이 따른다는 건 불 보듯 뻔하죠.“

무엇보다도 이러한 훈련으로는 최적의 결과를 달성할 수 없습니다. 로빈슨은 말합니다. “두 명의 조종사가 상공에서 비행하며 전투 연습을 하고 있는 걸 본다면 두 조종사 모두 훈련하고 있다고 생각하겠지만, 사실 적 전투기 역할을 하는 조종사는 상당히 통제된 상태입니다.“

위험 요소, 비용, 한정적인 효과를 고려할 때 새로운 솔루션이 필요하다는 것은 분명합니다. AR 기반의 솔루션은 이 모든 조건을 충족합니다. 완전하고 반복 가능한 훈련이 가능하고 비용이 적게 들며 무엇보다도 훨씬 안전합니다.
Mike Killian 이미지 제공
로빈슨은 이렇게 설명합니다. “저희는 안전성을 상당히 고려하여 개발합니다. 이는 단지 눈에 보이는 비용만을 말하는 것이 아닙니다. 저희가 추구하는 것은 훈련 파이프라인이 막바지에 이르렀을 때 실제로 발생하는 훈련의 질과 조종사의 능력입니다.”

기술 개발

레드 6가 AR 비행 플랫폼 개발에 착수했을 때 처음으로 마주한 기술적 문제는 트래킹 시스템이었습니다. 트래킹을 통해 플랫폼은 아무 때나 조종사의 머리가 3D 공간상에서 어디에 위치하고 어느 방향을 향하고 있는지를 알 수 있어, 조종사가 해당 방향을 바라보았을 때 AR 바이저로 적절한 적 전투기의 이미지를 제공할 수 있습니다.
Red 6 이미지 제공
레드 6의 창립자이자 최고 제품 책임자인 글렌 스나이더(Glenn Snyder)는 지상에서의 트래킹 대비 공중에서의 트래킹 정확도가 문제였다고 이야기합니다. “지상에 서 있는 게 아닌, 상공에서 비행하며 시속 수백 마일의 속도로 상하좌우 움직이고 연속 회전, 백플립 등 뭐든 수행할 수 있는 사람의 머리가 매 순간 어디에 있는지 어떻게 알아낼 수 있을까요? 그리고 탐지 오차 범위가 1cm 이내가 되도록 하려면 어떻게 해야 할까요?”

팀은 시중에 나와 있는 솔루션 중 활용할 수 있는 것을 찾지 못해 자체적으로 개발했습니다. 전투기는 공간에서의 절대적 위치를 통해 트래킹되고, 동시에 조종사의 머리는 전투기에 대하여 상대적으로 트래킹됩니다.
Red 6 이미지 제공
이렇게 절대적 트래킹과 상대적 트래킹의 조합을 통해 시스템을 구축할 수 있었습니다. 비차니치는 말합니다. “두 유형의 트래킹을 함께 사용하고 언리얼 엔진 4에서 여기에 카메라를 바인딩하면 시속 300마일의 AR 솔루션을 구축하여 사용할 수 있습니다. 이게 바로 저희가 구현한 방법입니다.”
Red 6 이미지 제공
레드 6는 또한 nDisplay 기술을 사용하여 하나의 PC에서 여러 대의 디스플레이로 다양한 이미지를 제공할 수 있다는 것을 알아냈습니다. 예를 들어, 조종사에게 왼쪽과 오른쪽의 스테레오 이미지를 전송하는 동시에 전투기의 대시보드에 있는 레이더 스코프 디스플레이를 활용하는 것입니다. 이렇게 하면 시스템의 풋프린트를 작게 유지하면서도 필요한 만큼 많은 디스플레이에 이미지를 제공할 수 있습니다.

AR 비행 시스템을 만드는 데 있어 또 다른 어려움은 지연시간입니다. 머리의 움직임과 그에 따른 비주얼을 표시하는 데 걸리는 딜레이죠. 스나이더는 이야기합니다. “지연시간을 줄이는 건 시작부터 해결하려 했던 최우선 과제였습니다.”

스나이더는 고속의 공중 AR 시스템에서 발생하는 지연이 보다 느린 속도로 움직이는 지상 시스템의 지연시간보다 사용자 경험에 훨씬 큰 영향을 미친다고 설명합니다. 지상의 AR 시스템에서는 사소하고 허용 가능해 보이는 '부정확 오류'가 공중 AR 시스템에서는 400미터에 달하는 차이가 될 수 있다는 것입니다. 이런 부정확성은 조종사 비행 훈련에서 허용되지 않습니다.

레드 6 팀은 초기에 다른 리얼리티 툴을 사용했지만, 언리얼 엔진으로 전환한 후 지연시간이 처음의 3분의 1로 줄어들었습니다. 스나이더는 이것이 팀에서 AR 솔루션을 위해 언리얼 엔진을 선택한 결정적인 이유 중 하나라고 밝혔습니다. 그런 다음 팀은 지연시간을 허용 가능한 수준인 20밀리초 이하로 줄이기 위해 작업했습니다.
Red 6 이미지 제공

실제 훈련에 도입하기 위한 설득

전역 군인으로 이루어진 레드 6 팀은 공군 및 다른 부대에서 원하는 것이 무엇인지 잘 알고 있습니다. 비차니치는 말합니다. “공군은 메워야 할 간극이 있다는 사실을 잘 알고 있었지만 그 틈을 메우는 것이 가능하다는 것은 전혀 모르고 있었습니다. 공군 관계자는 이와 같은 솔루션을 10년 동안 찾고 있었다고 말하며 저희 솔루션에 매우 만족해 했습니다. 이 솔루션을 가능한 한 많은 공군 전투기에 최대한 빨리 도입하고 싶어했죠.”

로빈슨도 설명합니다. “저희가 AR을 통해 이루고자 하는 것은 실제 적 조종사와 적 전투기를 배치하고 그에 따른 비용이 발생하는 이런 상황들을 대체하는 것입니다. 저희 솔루션을 사용하면 이런 것들은 더 이상 필요하지 않습니다. AR과 언리얼 엔진을 활용하면 현실의 어떤 위협이든 시뮬레이션할 수 있죠. 대단히 기대되는 가치 제안입니다.”
Red 6 이미지 제공
조종사들은 이 시스템에 대해 어떻게 생각할까요? 스나이더는 이렇게 이야기합니다. “조종사들이 전한 반응은 놀라웠습니다. 전투기에서 내려서 하늘을 올려다보며 '도대체 어떻게 한 거죠? 바로 이런 걸 원했습니다.'라고요.“

팀은 AR 기반의 전투기 조종사 훈련의 성공을 통해 레드 6와 언리얼 엔진의 밝은 미래를 확인했습니다. 비차니치는 말합니다. “공간 컴퓨팅의 미래를 구축하고 있는 기업에게 있어 AR은 매우 핵심적인 부분입니다. 이 분야의 핵심 인재와 협력하는 것은 필수이며, 에픽게임즈가 이 중 하나라는 사실에는 의심의 여지가 없습니다.”
PopSocial의 Camron Hatef 이미지 제공

    문의하세요!

    시뮬레이션 분야에서 언리얼 엔진의 잠재력을 어떻게 활용할지 알아보고 싶으신가요?
    지금 문의하셔서 안내를 받아보세요.
    이벤트
    9월 13일

    언리얼 서밋 온라인 2021에 초대합니다!

    모든 산업의 크리에이터를 위한 언리얼 서밋 온라인 2021에서 여러분의 창의력을 실현시킬 수 있는 무한한 영감을 얻어보세요!
    이벤트

    언리얼 서밋 온라인 2021에 초대합니다!

    모든 산업의 크리에이터를 위한 언리얼 서밋 온라인 2021에서 여러분의 창의력을 실현시킬 수 있는 무한한 영감을 얻어보세요!
    뉴스
    8월 19일

    언리얼 엔진 4.27이 출시되었습니다!

    모든 산업의 크리에이터들이 환영할 새 버전을 소개합니다. 차세대 인카메라 VFX는 효율성, 퀄리티, 사용 편의성이 향상되었고, 멋진 최종 이미지를 위한 패스 트레이싱, 이제 엔진 내에서 기본으로 제공되는 우들 및 빙크, 픽셀 스트리밍의 정식 버전 등 주요 기능이 추가되었습니다.
    뉴스

    언리얼 엔진 4.27이 출시되었습니다!

    모든 산업의 크리에이터들이 환영할 새 버전을 소개합니다. 차세대 인카메라 VFX는 효율성, 퀄리티, 사용 편의성이 향상되었고, 멋진 최종 이미지를 위한 패스 트레이싱, 이제 엔진 내에서 기본으로 제공되는 우들 및 빙크, 픽셀 스트리밍의 정식 버전 등 주요 기능이 추가되었습니다.
    뉴스
    8월 4일

    2021 Epic MegaJam 등록이 시작되었습니다!

    게임 개발 산업과 협업의 정신을 기념하는 2021 에픽 메가잼이 시작되었습니다. 팀을 결성하여 새로운 게임을 만들어 보세요. 커뮤니티에서도 분명 여러분의 노력의 결실을 함께 즐길 겁니다!
    뉴스

    2021 Epic MegaJam 등록이 시작되었습니다!

    게임 개발 산업과 협업의 정신을 기념하는 2021 에픽 메가잼이 시작되었습니다. 팀을 결성하여 새로운 게임을 만들어 보세요. 커뮤니티에서도 분명 여러분의 노력의 결실을 함께 즐길 겁니다!