2018년 논문 인체 해부 시각화를 위한 기술 향상(Enhancement Techniques for Human Anatomy Visualization)에서 세오 히로후미(Hirofumi Seo)와 이가라시 다케오(Takeo Igarashi)는 “인체 해부는 아주 복잡하여 기존 방식으로만 시각화해서는 이해하기 힘들다...” 라고 언급하며 이 문제를 해결하기 위해 언리얼 엔진으로 실시간 렌더링하여 뇌 수술을 하는 실용적인 접근법을 제안했습니다.
세오와 그의 팀은 이 제안을 2019년 논문 실시간 가상 뇌동맥류 결찰술(Real-Time Virtual Brain Aneurysm Clipping Surgery)에서 한 단계 더 발전시켰습니다. 실시간으로 환자의 뇌를 CG로 구현하고, 이 CG를 보고 조작할 수 있는 애플리케이션 프로토타입을 설명했습니다. 도쿄대 정보과학기술대학원의 사용자 인터페이스 리서치 그룹인 이가라시 연구소(Igarashi Laboratory) 일원인, 세오와 그의 팀은 뇌 구조와 수술 중 나타나는 뇌 변형을 더 정확하게 묘사할 뇌 수술 훈련 애플리케이션과 실시간 시각화를 개발하고 있습니다. 일본의료연구개발기구(Japan Agency for Medical Research and Development, AMED)의 보조금(보조금 번호 JP18he1602001)에 힘입어 개발된 이 소프트웨어 프로토타입으로 외과의는 수술 전후 또는 수술 중에 환자 특유의 뇌 구조를 시각화할 수 있습니다.
동맥류 수술의 어려움 해소
뇌동맥류는 뇌 동맥이 풍선처럼 부풀어 오르는 질병으로, 전 세계 성인 발병률이 3%에 이릅니다. 동맥류는 뇌 동맥 파열과 내부 출혈을 일으킵니다. 발병 시 40% 확률로 사망하며, 생존자의 66%는 신경계가 영구 손상됩니다. 뇌동맥 파열은 뇌졸중의 가장 흔한 원인입니다.뇌동맥류를 치료하는 효과적인 방법의 하나는 결찰이라고 불리는, 외과의가 부푼 부위를 작은 클립으로 묶는 방법입니다. 결찰은 피가 동맥류로 더 흐르지 않도록 하며, 효과적으로 동맥을 차단합니다.
모든 결찰 수술은 두개골 입구와 뇌의 열구 최소 1개를 열고 진입하는 과정이 필요합니다. 경실비안 접근법(transsylvian approach)으로 결찰하고 전두엽과 측두엽 사이의 깊은 열구인 가쪽고랑(Sylvian fissure)을 엽니다.
가쪽고랑 내에는 전두엽과 측두엽에 연결된 여러 혈관이 있습니다. 가쪽고랑을 안전하게 열려면 신경외과의는 반드시 각 혈관을 그 혈관이 우세한 부분으로 끌어내야 합니다. 각 혈관을 올바른 방향으로 끌어내는 것이 중요합니다. 실패하면 혈관이 불안정해지거나 출혈이 일어날 수도 있기 때문입니다.
그리고 외과의가 혈관을 직접 눈으로 볼 수 있다면 올바른 방향을 결정하는 것이 아주 수월해집니다. 하지만 수술할 때 눈으로 볼 수 있는 영역은 매우 제한되며, 혈관의 일부분만 간신히 볼 수 있습니다.
“동맥류 수술을 하는 전 세계 신경외과의에게 수술 전 시뮬레이션, 연습 또는 점검이 필요합니다. 수술할 때 눈으로 볼 수 있는 영역이 매우 제한돼 수술 자체가 매우 어렵기 때문입니다.”라고 세오는 말했습니다. “신경외과의는 뇌와 혈관 전체를 볼 수 있다면 각 혈관의 짧은 분지 혈관이 우세한 위치를 쉽게 가늠할 수 있다는 사실도 알고 있습니다. 그래서 오래전부터 많은 신경외과의가 3D CG를 사용하고 싶어 했지만 다들 그 방법을 몰랐습니다.”
앱 개발하기
2년 전 이가라시 연구소는 도쿄대 병원 신경외과와 협업하여 경실비안 접근법을 실제와 가장 가까운 모습으로 실시간 시각화하는 CG 툴을 개발해 달라는 요청을 받았습니다.앞서 언급했던 실시간 가상 뇌동맥류 결찰술 논문에서 세오와 동료 저자들은 환자 데이터로 각 혈관이 가장 우세한 부분을 자동 판정하는 지능형 알고리즘을 갖춘, 변형 가능한 CG 뇌를 구현하는 접근 방향을 제안했습니다. 이 모델은 뇌와 혈관을 연결하는 얇은 끈을 나타내는 가상의 섬유주(결합조직 가닥)를 자동 합성합니다. 이 애플리케이션으로 사용자는 뇌와 혈관을 “잡아당겨서” 변형하고 열구에서 열 수 있으며, 실시간 시각화로 업데이트된 결과를 볼 수 있습니다.
실시간 3D 시각화와 함께, 외과의는 개별 MRI와 3D 회전 조영(3DRA) 데이터를 활용하여 환자의 뇌 모델을 불러오고, 모든 각도에서 살펴보고, CG 열구를 열어서 내부를 들여다보고, 심지어 혈관이 더 잘 보이도록 전두엽과 측두엽을 숨길 수도 있습니다. 이 앱은 마우스 커서나 멀티 터치로 모든 것을 쉽게 제어할 수 있기 때문에 기술 경험이 없는 외과의도 아주 쉽게 사용할 수 있습니다.
세오의 팀은 언리얼 엔진이 앱 개발에 주축이 된 실시간 기술이었으며, 언리얼 엔진의 그래픽과 프로그래밍 툴 덕분이라고 말했습니다. “언리얼 엔진은 FVector, FMath, UKismetMathLibrary 등 강력한 수학적 C++ API를 갖춰 3D CG 지오메트리 연구에 적합한 플랫폼이라고 생각합니다.”라고 세오는 말했습니다.
물리적 시뮬레이션을 아주 빠르게 구현해야 하므로 속도 역시 중요한 요소였습니다. 세오의 팀이 개발한 실시간 앱은 초당 40~50프레임으로 실행됩니다. 지금까지 의료계에서 보지 못한 속도입니다. “실시간으로 변형되는 뇌의 모습은 저희 앱을 알게 된 사람들을 아주 놀라게 합니다.”라고 세오는 말했습니다. “이렇게 아름다운 렌더링 퀄리티 역시 의료계에서는 아주 새롭습니다.”
에픽게임즈는 이런 경우와 같이 실시간 렌더링을 혁신적으로 활용하는 것을 적극적으로 지원합니다. 가상 정형외과 수술(virtual reality orthopedic surgery)에서도 입증되었듯이, 해부를 사실적이고 실시간으로 보여주는 기술을 통해 실제 수술 훈련뿐만 아니라 수술에 필요한 의사 결정 과정 훈련을 한 층 더 발전시킬 수 있습니다.
언리얼 엔진을 의료 시뮬레이션에 활용하는 방법에 대해 알고 싶으신가요? 문의는 언제나 환영입니다.