항공기 관리와 유지보수는 특히 주요 공항에서 복잡한 과정입니다. 잦은 이동이 수반된 수많은 항공기를 반드시 안전하게 조정되고 서비스되어야 합니다. 승무원은 평상시의 임무뿐만 아니라 돌발 상황과 비상 사태에도 대응할 수 있는 훈련을 받아야합니다.
헬싱키 공항에 있는 핀란드 대표 항공사인 핀에어(Finnair)는 이 분야에서 가장 진보적인 항공사 중 하나라고 자부합니다. 이 회사는 분석에서부터 고객 서비스에 이르기까지, 모든 것을 개선하기 위해 오랜 시간 동안 최첨단 머신 러닝과 AI 기술을 사용해 왔습니다.
최근 핀에어는 경험 기반 서비스에 특화된 가상현실 스튜디오인 조안(ZOAN)과 제휴하여 AI 로 시뮬레이션하고, 시각화된 데이터를 활용하여 원할한 운용이 가능한 시스템을 시범 운영하였습니다. 조안은 언리얼 엔진의 기술을 활용하여, 헬싱키 공항과 핀에어 항공기의 디지털 복제본을 기반으로 일련의 인터랙티브 VR과 AR 경험을 제작했습니다.
지상에서의 상황인식 향상
유지보수 및 서비스 프로세스를 감독하는 직원은 높은 상황인식 능력이 요구되며 이를 위해 항공사 환경과 항공기에 대한 친숙함은 물론 절차와 그 절차의 의미에 대한 깊은 이해가 필요합니다.상황인식 능력을 돕기 위해 조안과 핀에어는 헬싱키 공항의 현장 직원이 운항의 각종 요소를 모니터링할 수 있도록 디지털 트윈 시스템의 데모를 개발했습니다. 디지털 트윈은 라이브 데이터에 따라 실시간으로 업데이트되는 가상 복제본으로 실제 애셋 상태에 대한 최신 정보를 제공하고, 조직이 장비를 보다 효과적으로 관리하고, 비지니스 결정에 있어 정보를 제공해 줍니다. 핀에어 직원은 AI와 VR을 포함한 다양한 데이터 시각화 기술을 시뮬레이션해 데모에서 이면의 다양한 활동을 모니터링하고 조정할 수 있어, 원할한 운항이 가능해집니다. 디지털 트윈 시스템 자체는 엄격히 데모 목적으로 사용되지만, 운영 간소화의 궁극적인 목표는 핀에어 고객에게 가능한 최고의 경험을 제공하는 것입니다.
항공기 유지보수 직원의 입장 되어보기
핀에어는 슬러시 2018 컨퍼런스(Slush 2018 conference)에서 방문객에게 이 시스템을 엿볼 수 있는 인터랙티브 VR/AR 데모(interactive VR/AR demo)를 시연했으며, 핀에어가 어떻게 이 시스템으로 시나리오를 시각화하고, 더 나은 판단을 하고, 고객 경험을 향상시켰는지 보여줬습니다.
“저희 인터랙티브 VR/AR 데모는 핀에어의 상황인식에 대한 계획을 제시하는 훌륭한 툴이었습니다.”라고 디지털 트랜스포메이션 리드인 패트릭 에텔라뷰오리(Patrik Etelävuori)가 말합니다. “덕분에 방문객들은 항공사 직원을 위한 데이터 기반 운영의 역할에 대해 포괄적이고 현실적인 아이디어를 얻을 수 있었습니다.”
AR 시뮬레이션에서 사용자는 관리자로서 헬싱키 허브 공항을 운영하고, 항공기 회항 시간을 단축하는 작업을 수행해 볼 수 있습니다. VR 경험에서 사용자는 지상 작전의 일원이 되어, 항공기 출발 준비를 할 때 지상팀이 수행해야 할 작업을 완료하게 됩니다.
데모를 제작할 때 조안에게 가장 큰 도전은 개념을 정의하는 것이었습니다. 그 경험은 핀에어뿐만 아니라 대중과의 관계도 필요했습니다. 그러므로 포함된 운영 작업을 신중하게 선택해야 했습니다.
“선택할 수 있는 많은 과제들이 있었지만 저희는 재밌는 무언가를 어떻게 만들지 고민했습니다.”라고 조안의 CEO인 미카 로센달(Miikka Rosendahl)이 말합니다. “다양한 경험을 적은 목록으로 몇 가지 프로토타입을 만들었는데 결국은 가장 사용자 친화적인 경험을 선택했습니다.”
하지만 준비 기간이 2달도 채 되지 않아 실험 시간이 많지 않았습니다. 두 프로젝트를 동시에 진행했지만, 상황인식 데모를 위해 제작했던 많은 애셋은 세부적인 차이로 인해 VR 데모에서 바로 사용하지 못하고 대체로 다시 제작해야 했습니다. 상황인식 데모는 멀리서도 볼 수 있도록 만들어진 반면, VR 경험을 위한 애셋은 가까이서 볼 수 있어 훨씬 더 상세한 작업이 필요했습니다. 다시 말해, 데모를 위한 가상 복제본 세트를 새로 만들어야 했습니다.
“이런 작업은 처음이었습니다. 처음부터 시작해야 했죠.”라고 로센달이 설명합니다. 제작팀은 당시 사용 가능했던 3D 라이브러리로 모델을 실시간용으로 최적화하고 핀에어 애셋처럼 보이도록 만들었습니다. 모델링 작업에는 블렌더(Blender)를 주로 사용했으며, OBJ와 FBX 파일을 언리얼 엔진으로 익스포트했습니다.
“언리얼 엔진은 리얼타임 VR 시뮬레이션 제작을 위한 당연한 선택이었습니다. 다양한 툴과 통합 서비스를 제공하며, 게다가 VR에서 높은 충실도의 비주얼과 인터랙션을 조정할 수 있는 가장 쉬운 방법을 제공하기 때문이죠.”라고 로센달이 설명합니다.
이런 인상적인 결과는 핀에어에게는 획기적인 결과로 몰입형 미디어를 향한 여정은 이렇게 시작됐습니다. 슬러시 데모는 다양한 영역에서 가상현실을 사용하는 방법을 보여주기 위해 내부적으로 홍보할 수 있는 애셋을 제공했으며, 이는 결국 조안과의 여러 다른 협력으로 이어졌습니다.
VR 환경에서 객실 승무원 훈련
그러한 프로젝트 중 하나는 새로운 객실 승무원을 위한 연습 환경을 만들기 위해 핀에어 항공기의 절차와 내부 레이아웃을 제공하는 VR 스튜디오였습니다. 디지털 복제본은 직원 교육 비를 절감하는 동시에 지식의 전달 과정을 개선할 수 있습니다. 사용자는 시뮬레이션 안에서 실수를 해보며 가치 있는 경험을 쌓으면서도 책임지지 않아도 됩니다.조안은 핀에어 A320 항공기 내부를 기반으로 핀에어 항공대학(Finnair Flight Academy, FFR)의 VR 훈련 시뮬레이션 개념 증명을 제작했습니다. 프로젝트의 목표는 신규 승무원 교육과 훈련을 촉진하여, 승무원이 항공기 내부를 자유롭게 체험하고, 비행 중에 수행할 주요 업무를 배울 수 있도록 지원하는 것입니다.
조안 팀은 3개월 만에 프로젝트를 완료했고, 아주 세부적인 면에서도 정확한 구현을 목표한 점을 고려하면 이는 매우 훌륭한 성과입니다. “기능과 기술 관점에서 보면, 2개월 만에 전체 항공기 모델을 구현하는 것이 가장 어려웠습니다. 저희가 목표로 정한 수준의 디테일, 이어져 있는 객실, 정확한 환경을 구현해야 했으니까요.”라고 로센달이 말합니다.
3D 모델은 조안이 최적화한 레디메이드 애셋을 일부 사용했습니다. 항공기 내부의 더 작고 세세한 오브젝트를 포함한 대부분의 애셋은 제작팀이 모델링했습니다. 주로 3ds Max를 사용했고, FBX 포맷을 익스포트했습니다.
“이 프로젝트에 UE4의 이펙트, 메카니즘과 기능을 활용해 앞으로 더 나아갈 수 있었습니다.”라고 로센달이 말합니다. “이전 프로젝트에서 사전 제작한 일부 기능을 UE4 프로젝트에 다시 사용해 제작 과정을 단축했습니다.” 제작팀은 또한 프로젝트를 온라인에 동기화하기 위해 퍼포스(Perforce)을 사용해 브라질에 있는 프로그래머가 원격으로 프로젝트를 지원할 수 있었습니다.
미래 프로젝트를 위한 기존 애셋 활용
조안은 신규 사원을 위한 내부용 영상도 제작했습니다. 이미 작업을 마친 디지털 트윈 프로젝트의 3D 모델을 일부 사용해 핀에어의 빠른 회항 콘셉트를 설명했습니다. 이 영상은 훈련 방법 개선을 목표로 하며, 사내 훈련용 문서와 발표 자료에서 상충하는 내용을 간결하게 요약해 줍니다. 이는 핀에어가 앞으로 투자해야 할 영역을 보여주고, 훈련 방법을 최적화하는 동시에 훈련 시스템의 비용을 낮췄습니다.핀에어는 완성된 프로젝트의 비주얼과 세부적인 환경에 감명받고, 초기 개념 증명을 완전한 교육 툴로 확장하는 가능성을 검토하고 있습니다. 핀에어는 훈련과 홍보에 사용할 여러 애셋을 보유하고 있으며, 이 애셋은 비용 효율성과 시뮬레이션 경험을 위한 리얼타임 렌더링의 다목적성을 보여줍니다.
직접 VR 시뮬레이션을 제작하고 싶다면, 바로 지금 언리얼 엔진을 다운받고 시작해 보세요.