Image courtesy of Mike Killian

AR での飛行:Red 6 による飛行中の航空トレーニング

2021年7月27日
上空 5 万フィート (約 15 km) での空中戦をどのように訓練すればいいのでしょうか。数十年前に初めて戦闘機が飛び立って以来、軍隊はこの問題について考えてきました。アメリカ空軍はこれまで、地上では VR シミュレーターを利用し、空中では同僚同士で模擬戦を行ってきました。しかし、どちらの方法でも、実際に敵機と遭遇した場合にどうするか、パイロットが完全な心構えをすることはできませんでした。

このために活用できるのが、2018 年に創業した AR プラットフォーム企業、Red 6 による機内 AR システムです。このシステムでは、パイロットはカスタマイズされた AR ヘルメットとバイザーを装着して飛行します。航空機には、Windows 10 の PC、いくつかのセンサー、Unreal Engine が搭載されます。
 

AR バイザーを装着したパイロットは、実際の環境に加えて、コンピューターが生成した 1 機または複数機の敵機を見ることができます。敵機は立体映像としてプロジェクションされます。敵機は現実の戦闘機のように動き、パイロットは自身や機体を実際の危険にさらすことなく脅威について現実的な経験を積むことができます。このシステムがあれば、パイロットは反応が完璧になるまで同じシナリオを何度でも繰り返すことができます。
Image courtesy of Mike Killian
このようなシステムは、かつては実現不可能と考えられていました。フライト シミュレーションは新しいものではありませんが、飛行中のパイロットのヘルメットで実行されるという点と、眺めや動きが非常に現実的であるという点が、戦闘機のパイロットのトレーニングにとって革新的なものとなっています。

Red 6 の創業者兼最高科学責任者、Nick Bićanić 氏によると、従来の軍事用ヘッドアップ ディスプレイは、視界がごく狭く、1 色しか表示できなかったり、片目用であったりしていました。また、従来のシステムは、基本的な記号体系やアビオニクスのデータを扱うことには長けていましたが、現実のシミュレーションに使うことはできませんでした。

Bićanić 氏は次のように述べています。「Red 6 のシステムでは、パイロットは上空へと飛び立ち、日中でも見やすい両眼用のシステムで、105 度かもう少し広いくらいの視界をフルカラーで見ることができます。また、現実には存在しない機体が合成されて表示され、そこにあるように感じられ、現実的な動きをします。これを体験したパイロットは、すばらしかった、すぐに使いたいです。どのくらいで使えるようになりますか、と言ってくれます」
 

ソリューションの必要性

アメリカ空軍はこれまで、戦闘機のパイロットを訓練するために、地上での VR シミュレーターに加えて、現実の空中での模擬戦を活用してきました。模擬戦には有効な面がありますが、多くの欠点もあります。まず、非常にコストがかかるという問題があります。各パイロットが数百時間飛行する必要があり、仮想敵の役を務めるパイロットも同様に数百時間飛行する必要があります。燃料と兵站の面で 1 時間あたり 6 万ドルから 9 万ドルほどかかり、積み重なると年に数十億ドルの出費になります。また、目に見えづらいコストも存在します。それは、敵の役を務めて飛行していると、パイロットが燃え尽きやすくなってしまうということです。敵の役を務めている間は、自分にとっての本当の訓練とはならないからです。

さらに、模擬戦を行うと、衝突などの事故のリスクを避けることはできません。Red 6 の創業者兼 CEO、Daniel Robinson 氏は次のように述べています。「高速で操縦し、高い G がかかり、すぐ近くを通過するのは、非常に危険であり、当然ながら大きなリスクを伴います」

そのような問題があるうえに、模擬戦からは最善の結果は得られません。「2 人のパイロットが飛行して戦闘していたら、どちらにとってもいい訓練になると思うでしょう。しかし実際には、敵の戦闘機を真似していると、大きな制約を受けることになります」と Robinson 氏は述べています。

リスク、コスト、有効性について問題があることから、新しいソリューションが必要であることは明らかでした。AR ベースのソリューションは、これらの問題点すべてに対処できます。再現性のある完全な訓練が可能であり、コストが少なく、何よりずっと安全です。 
Image courtesy of Mike Killian
Robinson 氏は次のように述べています。「私たちのやっていることの安全面での影響はとても大きなものです。問題となっているのは、明白なコストだけではありません。訓練の品質、ひいては最後まで訓練を受けたパイロットの能力も重要です」
 

テクノロジーの開発

Red 6 が飛行中の AR プラットフォームの開発に乗り出したとき、最初に直面した技術的な課題は、トラッキング システムでした。このプラットフォームでは、トラッキングを通じて、任意の時点でパイロットの頭が 3D 空間のどこにあり、どちらを向いているかを把握します。パイロットが敵機のいる方向を向くと、トラッキングの情報に基づいて、システムが AR バイザーに敵機の画像を送ることができます。
Image courtesy of Red 6
Red 6 の創業者兼最高製品責任者、Glenn Snyder 氏によると、地上ではなく上空での正確なトラッキングを行うことが問題となっていました。「地上に立っているのではなく、空中にいて、時速数百マイルで上下左右に動き、バレル ロールやバック フリップなどをしているとしたら、頭の現在位置をどうやって知ることができるのでしょうか。また、センチメートル単位の精度が求められるとしたらどうでしょうか」

Red 6 のチームは、既製のソリューションでは適切なものを見つけることができず、自社で開発することにしました。航空機については空間での絶対的な位置をトラッキングし、パイロットの頭は航空機に対する相対的な位置をトラッキングしました。
Image courtesy of Red 6
絶対と相対、2 種類のトラッキングを組み合わせることで、システムを実現できました。Bićanić 氏は次のように述べています。「この 2 つを組み合わせて、UE4 でカメラをバインドすると、時速 300 マイル (約 480 km) の環境で実用的な AR ソリューションができます。私たちが作ったのがまさにそれでした」
Image courtesy of Red 6
また、nDisplay テクノロジーを使うことで、1 台の PC から複数の画面に複数の画像を送信できることもわかりました。たとえば、パイロットに立体視用の左右の画像を送り、機体のダッシュボードにはレーダー スコープを表示できます。こうすれば、システムのフットプリントを小さく抑えながら、必要に応じていくつものディスプレイに画像を送ることができます。

飛行中の AR システムを作成するうえでは、遅延も課題となりました。ここでの遅延とは、頭の動きに対応するビジュアルの表示の遅れです。「どのように遅延を抑えるかということが、当初から解決を試みている最大の問題となっています」と Snyder 氏は述べています。

Snyder 氏によると、空中の高速 AR システムでは、移動速度が遅い地上のシステムと比べて、遅延がユーザー エクスペリエンスに与える影響が非常に大きくなります。地上の AR システムでは許容される程度のわずかな誤差であっても、空中のシステムでは同程度の差異から 0.25 マイル (約 400 m) ほどのずれが生じてしまいます。飛行中のパイロットのトレーニングでは、そのような精度を許容することはできません。

Red 6 のチームは、最初は別のリアルタイム ツールを使っていましたが、Unreal Engine に切り替えてみると、遅延がすぐにそれまでの 3 分の 1 に短縮されました。Snyder 氏によると、これが AR ソリューションのために Unreal Engine を使うことを決めた大きな理由の 1 つでした。その後も、許容範囲である 20 ミリ秒未満を目指して遅延の短縮に取り組みました。
Image courtesy of Red 6

軍隊の説得

自身も元軍人である Red 6 のチーム メンバーは、空軍などの軍隊が何を求めているかを知るうえで優位な立場にあります。Bićanić 氏は次のように述べています。「アメリカ空軍は訓練の仕方に課題があることを強く意識していましたが、その問題を解決できるということはわかっていませんでした。10 年前からこのようなソリューションを求めていたと言って、とても気に入ってくれています。アメリカ空軍は、できるだけ早く、できるだけ多くの機体に当社のソリューションを取り入れたいと望んでいます」

Robinson 氏も同じ意見のようで、次のように述べています。「私たちが AR で目指してきたのは、上空での敵役の機体とパイロット、そしてそれらに関連するコストを不要にすることでした。今はその目標を達成できるようになりました。AR と Unreal によって、必要とするあらゆる脅威をシミュレートできます。これは非常に大きな価値提案となります」
Image courtesy of Red 6
パイロットはこのシステムについてどう考えているのでしょうか。Snyder 氏は次のように述べています。「パイロットからの反応はとても好意的です。飛行機から飛び降り、こちらを見て、いったいどうやったのですか、すぐにこれを使いたいです。と言ってくれます」

AR ベースのパイロット トレーニングの成功を受け、Red 6 のチームは、自身と Unreal Engine の双方について、明るい未来を思い描いています。「空間コンピューティングの未来を築いている企業はいくつもあり、AR はその重要な一部です。私たちにとっては、この分野での重要なプレイヤーと連携することが必須であり、Epic Games がその一員であることは間違いありません」と Bićanić 氏は述べています。
Image courtesy of Camron Hatef at PopSocial

    お問い合わせください!

    Unreal Engine の力をトレーニングやシミュレーションで活用することにご興味がありますか?
    是非ご連絡ください。
    ニュース
    8月19日

    Unreal Engine 4.27 がリリースされました!

    すべての業界のクリエイターにとってうれしい新機能があります。インカメラ VFX の様々な効率性、品質、使いやすさを向上する改善、美麗な最終画像を生成するパス トレーシング、同梱されるようになった Oodle と Bink、実制作で使用可能な状態になった Pixel Streaming なども含まれています。
    ニュース

    Unreal Engine 4.27 がリリースされました!

    すべての業界のクリエイターにとってうれしい新機能があります。インカメラ VFX の様々な効率性、品質、使いやすさを向上する改善、美麗な最終画像を生成するパス トレーシング、同梱されるようになった Oodle と Bink、実制作で使用可能な状態になった Pixel Streaming なども含まれています。
    ニュース
    8月3日

    今回のテーマは「みち」
    Unreal Engine学習向け作品コンテスト、“第16回UE4ぷちコン”開催のお知らせ

    株式会社ヒストリアは、Unreal Engine学習向けコンテスト“第16回UE4ぷちコン”を開催、テーマを「みち」と発表いたしました。2021年8月5日(木)~2021年9月12日(日)の期間内に作品エントリーを受け付けております。また、初のサイドイベント” UE4ぷちスタ☆~1週間でエンドレスランナーをつくろう~”をオンラインにて開催いたします。
    ニュース

    今回のテーマは「みち」
    Unreal Engine学習向け作品コンテスト、“第16回UE4ぷちコン”開催のお知らせ

    株式会社ヒストリアは、Unreal Engine学習向けコンテスト“第16回UE4ぷちコン”を開催、テーマを「みち」と発表いたしました。2021年8月5日(木)~2021年9月12日(日)の期間内に作品エントリーを受け付けております。また、初のサイドイベント” UE4ぷちスタ☆~1週間でエンドレスランナーをつくろう~”をオンラインにて開催いたします。
    イベント
    7月1日

    CEDEC 2021 の Unreal Engine に関するセッションをピックアップ!

    2021年8月24日(火) - 26日(木)にオンライン開催される日本最大のコンピュータエンターテインメント開発者向けカンファレンス「CEDEC 2021」にて行われます。本記事ではCEDEC 2021にて行われる Unreal Engine に関するセッションをピックアップしてご紹介!
    イベント

    CEDEC 2021 の Unreal Engine に関するセッションをピックアップ!

    2021年8月24日(火) - 26日(木)にオンライン開催される日本最大のコンピュータエンターテインメント開発者向けカンファレンス「CEDEC 2021」にて行われます。本記事ではCEDEC 2021にて行われる Unreal Engine に関するセッションをピックアップしてご紹介!