图片由Mike Killian提供

伴随AR翱翔:在空中使用Red 6训练

2021年7月27日
如何在5万英尺的高空展开空中缠斗训练?自从几十年前第一批战斗机飞行员飞上天空以来,军方就一直在思考这个问题。多年以来,美国空军一直在关注地面虚拟现实模拟器,也在内部进行了空中演习战斗,但这些都不能让飞行员完全做好与敌人展开实际遭遇战的准备。

2018年成立的AR平台公司Red 6推出了一款空中增强现实系统,打破了这一现状。使用该系统,佩戴定制AR头盔和头显的飞行员将在配备Windows 10电脑、一些传感器和虚幻引擎的飞机中飞行。
 

通过AR头显,飞行员能够同时看到实际环境以及电脑生成的一架或多架敌机的立体3D投影。敌机的移动方式与实战情况一致,这将为飞行员创造真实的威胁体验,但不会对他们或飞机造成任何实际危险。使用该系统,飞行员可一遍遍地在相同场景中演练,直到能够完美应对。
图片由Mike Killian提供
这样的系统一度被认为是不可能实现的。虽然飞行模拟并不是新鲜事,但能够在空中通过飞行员的头盔展现逼真的画面和动作,是战斗机飞行员训练的一项突破。 

Red 6的创始人兼首席科学官Nick Bićanić表示,传统的军用平视显示器的视野极其狭窄,有时只为一只眼睛显示一种颜色。他补充说,那种系统在基本符号和航空电子数据方面表现得很好,但它们不能用于模拟现实。

他说:“通过Red 6系统,飞行员能看到105°角甚至更宽的视野,以及日光下可见的双目全彩系统,他们所看到的合成飞机并不真实存在,但感觉和行为都如同真实存在。他们下了飞机就纷纷表示‘难以置信。我们期待这个很久了。还要多久才能实装?’”
 

解决方案的必要性

除了使用地面虚拟现实模拟器外,空军也通过现场空中演习来训练战斗机飞行员。这种训练虽然在某些方面行之有效,但也有许多缺点。首先,它极其昂贵——训练一位飞行员需要数百小时的飞行时间,这意味着在这数百小时内,扮演的对手也需要在空中飞行。这将使燃料和后勤费用达到每小时6万至9万美元,每年最终总计花费数十亿美元。此外,还有一些隐性成本——让飞行员花费额外的时间扮演对手飞行,可能会使他们筋疲力尽,而在此类任务中,这些飞行员自身并没有得到真正的训练。

此外,在这种演习中还存在发生碰撞或其他事故的风险。“当在高速、高重力下操作时,如果近距离与其他飞机擦身而过,将会非常危险。”Red 6的创始人兼首席执行官Daniel Robinson表示,“很显然,风险非常大。”

最重要的是,这样的训练并不能达到最佳效果。“两个飞行员在那里飞行和战斗,看似他们都得到了很好的训练。”Robinson评价说,“而现实情况是,扮演敌机的飞行员将感到非常受拘束。”

权衡风险、费用和有限的效率,显然需要一个新的解决方案。基于AR的解决方案符合所有要求:它提供完整的可重复训练,并且成本更低,最重要的是,它更安全。
图片由Mike Killian提供
“我们所做的事在安全方面意义深远.”Robinson说,“我们力图解决的不仅仅是显性成本问题,而是训练的质量,以及在训练流程结束时,飞行员素质提升程度的问题。”
 

开发技术

当Red 6着手开发空中AR平台时,遇到的第一项技术挑战就是追踪系统。通过追踪,平台可随时了解飞行员头部在3D空间中的位置及面部朝向,因此当飞行员直视该方向时,系统可在AR头显中适当地展示一系列敌机影像。
图片由Red 6提供
Red 6的创始人兼首席产品官Glenn Snyder认为问题在于:在地面如何精确追踪半空。他解释说:“假如某人不是站在地面上,而是在空中,以每小时数百英里的速度飞行,可以上下左右移动,做桶滚特技和后空翻,要如何确定他的头部在什么位置呢?如何计算出精度在一厘米范围内的结果?”

该团队无法找到现成的有效解决方案,所以他们发明了自己的方法——追踪飞机在空间中的绝对位置,同时追踪飞行员头部与飞机的相对位置。
图片由Red 6提供
正是绝对追踪和相对追踪这两种类型的结合,才使这个系统成为可能。Bićanić表示:“将这两者结合起来,在UE4中将它与摄像机绑定,就能够得到时速300英里的有效AR解决方案。我们正是这样做的。”
图片由Red 6提供
公司还发现,他们可以利用nDisplay技术通过一台电脑向多个显示屏提供不同画面,为飞行员显示左右立体图像(例如,在飞机的仪表板加装一个雷达范围显示屏)。如此一来,既能按需向足够多的显示屏传递画面,也保证了系统操作的简单。

创建空中AR系统的另一项挑战是延迟:头部运动和相应视觉显示屏之间存在延迟。“如何降低延迟是我们从一开始就试图解决的首要问题。”Snyder说。

Snyder解释说,与移动速度较慢的地面系统相比,空中高速AR系统的延迟对用户体验的影响要严重得多。地面AR系统中可能会出现的一个微小但可接受的“漂移错误”,但对空中系统来说,同样的差异可能会表现为四分之一英里的偏移。这样的误差对于飞行员的空中训练来说是不可接受的。

团队最开始使用的是另一种实时工具,但当他们切换到虚幻引擎后,延迟立刻降低至原来的三分之一。Snyder说,这是团队决定使用虚幻引擎开发AR解决方案的主要原因之一。此后,他们更是努力将延迟降低到可接受的20毫秒以内。
图片由Red 6提供

取信于军方

作为退役军人,Red 6团队自然知道空军和其他部门的需求。Bićanić说:“空军非常清楚,他们需要填补这一空白,但他们不知道这个问题是可以解决的。他们告诉我们,十年来,他们一直在寻找这样的解决方案。他们很满意,并且希望能尽快将它集成到更多的空军飞机中。”

Robinson表示同意。他说:“我们使用增强现实,是为了消除在空中设置敌方飞行员和敌机的需求,并节约相关成本。现在我们做到了这一点。我们可以根据需要,通过增强现实和虚幻引擎来模拟世界上的任何挑战。这是一项令人非常兴奋的宝贵提议。”
图片由Red 6提供
飞行员是如何看待这个系统的?“我们从飞行员那里得到的反馈简直好得不可思议。”Snyder说,“他们走下飞机时,都会说,‘你们到底是怎么做到的?我们现在就想要它。’”

随着基于AR技术的战斗机飞行员训练取得了成功,Red 6团队看到了自己和虚幻引擎的光明未来。Bićanić评论说:“有许多公司正在创造空间计算的未来,而增强现实是其中的一个基础部分。对我们来说,与该领域最重要的成员结盟是最关键的,毫无疑问,Epic Games就是其中之一。”
图片由PopSocial的Camron Hatef提供

    让我们谈谈!

    有兴趣了解怎样发挥虚拟引擎在模拟领域的潜力吗?
    请联系我们来开始对话。
    新闻
    8月19日

    虚幻引擎4.27现已发布!

    各行各业的创作者都将为此发行版中的某些功能而欢呼:通过一系列效率、质量和易用性方面的改进,摄像机内视效上升到了新高度,同时,其他亮点包括通过路径追踪实现精美的最终图像,开箱即用的Oodle和Bink,可用于生产的像素流送等诸多功能。
    新闻

    虚幻引擎4.27现已发布!

    各行各业的创作者都将为此发行版中的某些功能而欢呼:通过一系列效率、质量和易用性方面的改进,摄像机内视效上升到了新高度,同时,其他亮点包括通过路径追踪实现精美的最终图像,开箱即用的Oodle和Bink,可用于生产的像素流送等诸多功能。
    聚焦
    9月7日

    Mold3D Studio与虚幻社区分享动画示例项目Slay

    为了启发和指导美术师,Mold3D Studio创建了一个动画内容示例项目,分享其数十年的行业经验。Slay完全在虚幻引擎中渲染,它将动画与现实主义相结合,营造出了一种独特的风格。
    聚焦

    Mold3D Studio与虚幻社区分享动画示例项目Slay

    为了启发和指导美术师,Mold3D Studio创建了一个动画内容示例项目,分享其数十年的行业经验。Slay完全在虚幻引擎中渲染,它将动画与现实主义相结合,营造出了一种独特的风格。
    聚焦
    7月21日

    虚幻引擎全新摄像机内VFX工具集试运行

    即将发行的虚幻引擎4.27将包含丰富的虚拟制片工具。最近,Epic Games和电影人团体Bullitt召集起一支队伍试用了其中的摄像机内视觉特效工具集。为了测试到每一种新工具,他们拍摄了一部测试短片来模拟制片流程。
    聚焦

    虚幻引擎全新摄像机内VFX工具集试运行

    即将发行的虚幻引擎4.27将包含丰富的虚拟制片工具。最近,Epic Games和电影人团体Bullitt召集起一支队伍试用了其中的摄像机内视觉特效工具集。为了测试到每一种新工具,他们拍摄了一部测试短片来模拟制片流程。