2018 年の論文、Enhancement Techniques for Human Anatomy Visualization のなかで、瀬尾拡史氏と五十嵐健夫氏は、「人体の解剖学的構造は極めて複雑であるため、従来の方法によるビジュアライゼーションでは、容易な理解につなげるには不十分であり……」と述べています。この問題に対処するために、瀬尾氏は、Unreal Engine によるリアルタイム レンダリングを利用した、脳外科手術への実践的なアプローチを提案しています。
瀬尾氏とそのチームは、2019 年の論文 Real-Time Virtual Brain Aneurysm Clipping Surgery で、このコンセプトをさらに推し進めました。この論文では、患者の脳をリアルタイムで再現した CG を表示し、操作する、アプリケーションのプロトタイプが取り上げられています。 東京大学大学院情報理工学系研究科五十嵐研究室のユーザインタフェース研究グループの一員である瀬尾氏と同氏のチームは、脳外科手術用のリアルタイム ビジュアライゼーションおよびトレーニング アプリケーションについての取り組みを進めています。このアプリケーションは、脳の構造を正確に描き、手術中にどう変形するかを示します。国立研究開発法人日本医療研究開発機構 (AMED) の支援 (Grant Number JP18he1602001) によって作成されたこのソフトウェアのプロトタイプは、外科医が患者独自の脳の構造を手術前、手術中、手術後にわたって可視化できるように支援します。
脳動脈瘤手術の課題への対処
脳動脈瘤は、脳の動脈にできる風船のような膨らみです。この症状は、世界の全成人の 3% ほどに見られます。動脈瘤は破裂して内出血を起こすことがあります。すると患者の 40% は死に至り、生存者も 66% が神経に永続的な損傷を受けます。動脈瘤の破裂は、脳卒中の原因として最も多くを占めています。脳動脈瘤に対する最も効果的な治療法の 1 つがクリッピングです。この治療では、外科医が動脈瘤の根っこの部分に小さなクリップを取り付けます。クリップが動脈瘤への血液のさらなる流入を抑え、動脈の破裂を防ぎます。
クリッピング術を行うには、頭蓋骨と少なくとも 1 つの脳溝を開き、その内側に触れる必要があります。経シルビウス裂アプローチでクリッピングを行う場合、脳の前頭葉と側頭葉の間の深いところにある脳溝、シルビウス溝を引いて開きます。
シルビウス溝の内部では、複数の血管が前頭葉と側頭葉につながっています。手術中、シルビウス溝を安全に展開するために、脳外科医は、それぞれの血管について、還流域が前頭葉側か側頭葉側かに応じて、適切な方向に引く必要があります。このとき、血管ごとに正しい向きを選ぶことが重要になります。方向を間違えると、血管が不安定になったり、出血を起こしたりしてしまう可能性があります。
脳外科医が血管を直接見ることができれば、この判断は基本的に難しいものではないのですが、手術中には目に見える範囲がごく限られているため、血管も一部しか見ることができません。
瀬尾氏は次のように述べています。「動脈瘤の手術を行っている世界中の脳外科医が、何らかの形で手術前にシミュレーション、練習、確認を行いたいと望んでいます。実際の術野は狭く、手術自体もとても難しいものであるからです。また、脳とその血管の全体を見ることができれば、各血管について、血管の還流域が前頭葉側か側頭葉側かを簡単に予測できるということも脳外科医にはわかっています。長い間、非常に多くの脳外科医が 3D CG を使いたいと考えてきましたが、実装方法がわかっていませんでした」
アプリの作成
約 2 年前、瀬尾氏が所属する五十嵐研究室は、外科医が経シルビウス裂アプローチをリアルタイムでできるだけリアルに視覚化するための CG ツールを、東京大学脳神経外科と協力して開発するという依頼を受けました。前述の論文、Real-Time Virtual Brain Aneurysm Clipping Surgery のなかで、瀬尾氏と共同執筆者は、変形できる CG の脳を患者のデータに基づいて作成し、血管の還流域が前頭葉側か側頭葉側かをインテリジェントなアルゴリズムを利用して自動的に判断するというアプローチを提案しています。そのモデルでは、仮想的なクモ膜小柱 (結合組織がまとまったもの) を自動的に合成して、脳と血管を結ぶ細い糸を表現します。アプリケーション内では、ユーザーは脳溝のところで脳と血管を「引っ張り」、変形させて開くことができます。ビジュアルはリアルタイムに更新され、結果を表示します。
リアルタイムの 3D ビジュアライゼーションにより、外科医は MRI と 3D Rotational Angiography (3DRA) のデータから患者の脳のモデルを読み込むことができます。そして、好きな角度から表示したり、CG の脳溝を引っ張って内側を見たり、脳葉を非表示にして血管をよく見えるようにしたりすることができます。ユーザーは単純にマウス カーソルを動かすか、あるいはマルチタッチですべてを操作できるので、技術的な経験のない外科医にも使いやすいものになっています。
アプリケーションを開発するにあたり、瀬尾氏のチームは基盤となるリアルタイム テクノロジーとして Unreal Engine を選択しました。グラフィックスとプログラミングのツールがその決め手となりました。「Unreal Engine には、FVector、FMath、UKismetMathLibrary など、数学関連の強力な C++ API があるので、3D CG ジオメトリの研究に適したプラットフォームです」と瀬尾氏は述べています。
超高速の物理シミュレーションを実装する必要があったので、スピードも重要な要因でした。瀬尾氏のチームが開発したリアルタイム アプリは、毎秒 40 ～ 50 フレームで動作します。これは医療業界にとっては異例のスピードです。瀬尾氏は次のように述べています。「脳がリアルタイムで変形する点は、私たちのアプリケーションを知った人たちにとって大きな驚きだったようです。美しいレンダリングの品質も、医療業界にとっては新しいものでした」
Epic Games は、このリアルタイム レンダリングの革新的な用途を喜んでサポートしています。VR での整形外科手術の例でも確認されたように、医療コミュニティは、解剖学的構造をリアルに描写する能力を活用して、外科医のトレーニング方法を強化しています。実際の外科手術の面だけに留まらず、手術に必然的に伴う意思決定のプロセスについてもトレーニングできます。
医療シミュレーションへの Unreal Engine 4 の活用方法について関心を抱かれた場合は、お問い合わせください。