在发表于2018年的论文《Enhancement Techniques for Human Anatomy Visualization》中，濑尾扩史和五十岚健夫指出：“人体解剖结构过于复杂，仅用传统方式进行可视化不足以方便理解……”为了解决这个问题，濑尾提出了一种使用实时渲染配合虚幻引擎模拟脑外科手术的实践思路。
如今濑尾和他的团队通过他们2019年的论文《Real-Time Virtual Brain Aneurysm Clipping Surgery》将这个概念又推进了一步，在论文中他们演示了一个用于实时查看和操纵患者脑部CG影像的应用程序原型。
（本视频转载自YouTube：视频原址）
濑尾和他的团队属于东京大学信息科学与技术研究生院，五十岚研究室用户界面研究组，他们正在开发一款用于脑外科手术的实时可视化和训练应用程序，它能够更准确地描绘脑部结构以及它在手术过程中如何变形。这个借助日本医疗研究开发机构（AMED）的拨款（拨款号JP18he1602001）开发的软件原型能帮助外科医生在术前、术中和术后对患者独特的脑部结构进行可视化。
应对动脉瘤手术的挑战
脑动脉瘤——生长在脑动脉上、形似气球的突起——存在于全世界大约3%的成人体内。动脉瘤可能发生破裂，造成体内动脉出血，在40%的情况下会导致患者死亡，而幸存者中有66%的人会受到永久性的神经损伤。动脉瘤破裂是最常见的中风原因。治疗动脉瘤最有效的方法之一是夹闭，即由外科医生在动脉瘤颈部夹上一个小夹子。夹闭可以防止血液继续流入动脉瘤，并有效封闭动脉。
在任何夹闭手术中，医生都需要打开颅骨并至少进入一条脑沟。经侧裂入路夹闭手术需要拉起并打开大脑侧裂，这是位于大脑的额叶和颞叶之间的一条深沟。
在大脑侧裂中有多条贯穿额叶和颞叶的血管。为了在手术中安全地打开大脑侧裂，神经外科医生必须将每一条血管拉到其优势区的一侧。为每条血管选择正确的拉动方向很重要，如果做不到这一点，就可能导致血管不稳定或出血。
如果外科医生可以直接看到这些血管，那么要确定向什么方向拉动基本上很简单。但是在手术过程中，可视区域是非常有限的——只能看到血管的一部分。
“全世界做动脉瘤手术的神经外科医生都需要某种术前的模拟、练习或检验，因为手术中实际的视野非常有限，而手术本身又是非常困难的，”濑尾说。“他们也知道，如果能看到整个大脑和血管，那就很容易判断每条血管的小分叉优势区。长期以来，有太多的神经外科医生希望使用3D CG，但他们不知道怎样实现。”
创建应用
大约两年前，濑尾所在的五十岚研究室接到请求，要与东京大学医院神经外科合作开发一种CG工具，帮助外科医生尽可能逼真地将经侧裂入路实时可视化。在前文提到的论文《Real-Time Virtual Brain Aneurysm Clipping Surgery》中，濑尾与他的合作者提出了根据患者数据创建可变形的CG脑部，使用智能算法自动确定每条血管优势区的思路。模型包括自动合成的虚拟小梁（结缔组织束），用以表现连接脑部与血管的细带。在应用程序中，用户可以“拉动”脑部和血管使其变形，并在脑沟处将它们打开，而视觉效果会即时更新以显示结果。
借助实时3D可视化，外科医生可以根据患者的个人MRI和3D旋转血管造影（3DRA）数据加载其脑部的模型，从任何角度观察它，拉开CG脑沟来观察其内部，甚至可以使脑叶消失，以便更好地观察血管。用户可以通过简单的鼠标光标移动或触控面板进行各种操作，这使得没有技术经验的外科医生也能轻松使用该应用。
在开发这款应用程序时，濑尾团队选择了虚幻引擎作为基础实时技术，这是因为它提供了各种图形和编程工具。“虚幻引擎拥有强大的数学C++ API，例如FVector、FMath和UKismetMathLibrary，因此我们发现它很适合作为研究3D CG几何体的平台，”濑尾说。
由于需要实现超快的物理模拟，速度也是考虑因素。濑尾团队开发的这款实时应用能够以每秒40-50帧的速度运行，这是医学界还不习惯的速度。“对于发现我们的应用程序的人来说，脑部的实时变形是一个大惊喜，”濑尾说。“漂亮的渲染质量也让医学界大开眼界。”
Epic Games很高兴能够为这种实时渲染的创新应用提供支持。虚拟现实整形外科手术也证明，实时而逼真地描绘解剖结构的功能使医学界获得了训练外科医生的好方法，不仅有利于手术的实操，也有利于手术中必然包括的决策过程。
想知道该如何使用虚幻引擎进行医学模拟吗？请和我们联系，我们很乐意与你开始对话。