언리얼 엔진으로
인공호흡기 VR 시뮬레이션을 선보인 퍼펙트스톰
인공호흡기 VR 시뮬레이션을 선보인 퍼펙트스톰
Jinyoung Choi
2021년 7월 20일
퍼펙트스톰
주식회사 퍼펙트스톰은 2012년 3D 컨버팅 및 VR/AR, 콘텐츠 작업을 진행해 온 3D, 가상/증강현실 선두 기업입니다. 현대기아자동차 디지털 쇼룸을 비롯하여 차량 컨피규레이터, VR교육 콘텐츠, BIM데이터를 활용한 콘텐츠 등 가상/증강현실과 산업을 접목한 여러 콘텐츠들을 제작하였으며, 사업영역 확장 및 디지털 선도 기업으로 도약하기 위해 노력하고 있습니다
완벽한 실전의 초석이 되는 시뮬레이션 훈련은 어느 분야에서나 중요하지만, 1초의 촌각에 따라 환자의 삶과 죽음이 결정되는 의료 분야로 오면 그 중요성이 더욱 부각됩니다. 그리고 의료 분야 안에서도 물리적으로 자가 호흡이 어렵거나 스스로 생명 유지가 힘든 중환자 분들에게 인공호흡기(Ventilator)는 한 치의 오차도 없이 정확하고 신속하게 제공되어야 하는 만큼 매우 중요합니다. 하지만 인공호흡기의 능숙한 조작을 위해서는 충분한 연습이 필요한 반면, 현실은 녹록하지 않습니다. 이런 간극을 좁히기 위해서 퍼펙트스톰은 의료진이 실제와 같은 퀄리티로 훈련할 수 있도록 언리얼 엔진으로 인공호흡기 VR 시뮬레이션을 제작했습니다. 오늘 이 시뮬레이션에 대해 더 자세히 알아보기 위해 퍼펙트스톰의 기획마케팅 매니저이신 이문주 님을 만나보았습니다.
안녕하세요. 언리얼 엔진과 인공호흡이란 조합이 눈에 띕니다. 퍼펙트스톰에 대한 간단한 소개와 함께 인공호흡기 VR 시뮬레이션 프로젝트에 대해서도 설명해 주세요.
안녕하세요. 퍼펙트스톰은 자동차, 건축, 의료 등의 분야에 디지털 리얼리티 영역을 접목하여 다양하고도 혁신적인 VR, AR, MR 콘텐츠를 제작하고 있습니다. 따라서 그 누구보다 디지털 리얼리티 콘텐츠의 장점을 잘 파악하고 있으며 관련 기술도 보유하고 있는데, 이런 장점과 기술을 의료 분야에 적용할 수 없을까라는 고민이 이번 프로젝트의 시작이었습니다.
중환자실에 근무하는 신입 간호사들은 실무에 투입되기까지 엄청난 노력과 시간을 요합니다. 고위험 의료기기에 대한 이론 및 실기 교육을 받더라도 잘못 조작했을 때 발생할 의료 사고의 위험이 클 뿐만 아니라, 중환자를 실제로 돌보는 것에도 큰 부담이 있기 때문입니다. 저희는 이런 신입 간호사들의 실무 투입 기간을 단축시키고자 신입 간호사가 접근하기 어려운 의료기기 중에서도 인공호흡기를 콘텐츠의 주제로 삼았고, 양질의 교육을 시간 제약 없이 반복적으로 학습할 수 있도록 VR로 제작하게 되었습니다.
중환자실에서 위급 환자에게 사용하는 인공호흡기는 숙련된 조작을 필요로 하고 사용자는 위급 상황에 즉시 대처할 수 있어야 합니다. 그렇기 때문에 신입 간호사들은 해당 프로젝트를 통해 VR 환경에서 반복적으로 장비 조작법과 응급 상황 대처방법을 학습하면서 실제 상황 대처 능력을 키우고 미숙한 사용으로 인해 발생하는 위험 상황을 미연에 방지할 수 있을 것으로 기대했습니다. 특히 VR의 특성을 살려 인공호흡기에서 알람이 울리는 상황, 잘못된 설정으로 인한 오류 등 디테일하고도 다양한 상황을 연출하여 실전과 같은 교육을 학습할 수 있게끔 노력했습니다.
직접 사용해보신 신입 간호사 분들께도 색다른 학습 방법이었을 것 같은데요, 현장에서는 어떤 피드백이 있었나요?
아산병원 내에 구축된 VR 교육장인 ‘VR 에듀 플래닛(VR Edu Planet)’에서 신입 간호사를 대상으로 교육을 진행하였고, 많은 분들께서 긍정적인 피드백을 주셨습니다. 대표적으로 긍정적인 피드백을 몇 가지 뽑아보자면, 중환자실 환경, 의료 장비 그리고 응급 상황 또한 현실적으로 잘 구현되었다, 위험요소 없이 응급 상황에 대한 대처를 반복적으로 시도할 수 있었다, 충실한 간접 경험을 통한 교육 덕분에 손쉽게 체화하여 현장에서 바로 적용할 수 있었다, 실무 현장에서 궁금했던 대처법을 스스로 쉽게 배울 수 있었다 등의 의견들이었습니다. 다행스럽게도, 실제 상황이 아니면 경험하기 어려운 응급 상황을 VR로 제작하여 간접 경험을 통해 간호사들의 상황 대처 능력을 향상시키고자 했던 저희의 목표와 상통하는 긍정적인 의견들을 받아볼 수 있었습니다.
현장 의료진으로부터 언리얼 엔진으로 진행하신 프로젝트가 긍정적으로 평가가 되었다니 저희도 기쁘네요! 이번 프로젝트에서 언리얼 엔진을 채택하신 이유가 궁금합니다.
이유는 간단합니다. 퀄리티와 속도입니다. 언리얼 엔진을 사용하면 현실과 가장 유사한 퀄리티를 빠르게 구현할 수 있었기 때문이죠. 응급처치 시 사용하는 의료기기를 포함하여 실제 중환자실과 동일한 환경을 VR 교육에 참여하는 간호사들에게 제공하고자 했는데, 언리얼 엔진의 렌더링을 통해 저희의 기대 이상으로 구현할 수 있었고, 블루프린트를 통해 코딩 없이도 프로토타입을 빠르게 제작하여 팀과 논의 후 수정하는 반복작업을 짧은 시간 안에 수차례 할 수 있어서 만족스러운 퀄리티로 빠르게 완성할 수 있었습니다.
해당 프로젝트는 환자의 생명과 직결된 의료 VR 프로젝트인 만큼, 작업하시면서 어떤 부분들을 가장 신경쓰셨나요?
퍼펙트스톰 이미지 제공
의료 프로젝트와 VR 프로젝트의 특성을 동시에 만족해야 하는 이번 의료 VR 프로젝트에서 가장 신경 쓴 부분은 넓지 않은 중환자실에서 VR로 진행하는 다양한 인터랙션과 그에 따른 UI의 시인성을 확보하는 부분이었습니다. 즉 실제 중환자실과 동일한 경험을 제공하는 것을 목표하였기에, 좁은 레벨 디자인 안에서 인터랙션이 가능한 다양한 오브젝트를 배치하면서 UI를 직관적으로 보여주는 것이 관건이었습니다.
의료 프로젝트 특성 상 좁은 공간 안에 다수의 정교한 의료기기들이 존재합니다. 그리고 그 다양한 의료기기를 정확한 형태로 제작해야 하며, 체험자가 기기들과 인터랙션이 잘 동작되어야 합니다. 그뿐만 아니라, 사용 방법에 따라 환자의 생사를 결정하는 의료기기이기 때문에 체험자가 인터랙션의 결과를 정확히 파악하고 판단할 수 있도록 기기의 작동과 환자의 반응이 사실적으로 구현되어야 했습니다.
앞서 말씀하신 부분을 구현하는데 있어, 언리얼 엔진이 구체적으로 어떻게 도움이 되었나요?
체험자가 해당 프로젝트에서의 정확하고도 올바른 인터랙션을 통해 쌓은 노하우를 현실에서도 적용할 수 있도록 실제와 똑같은 의료기기와 그 사용법을 구현해야 했는데요, 언리얼 엔진에서 제공하는 여러 툴을 활용하여 손쉽게 작업 할 수 있었습니다. 특히, 스켈레탈 메시 소켓을 활용하면 구현 단계에서 시각적으로 정확한 위치를 보면서 수정이 가능하기 때문에 도구를 집거나 환자의 몸에 도구를 정확히 부착하는 기능을 수월하게 구현할 수 있었을 뿐만 아니라, 부족한 의료 지식으로 잘못 구현되는 경우가 발생하더라도 손쉽게 해결할 수 있었습니다. 전문 의료 지식이 없는 개발자와 아티스트들은 기획서에 의존하여 개발을 진행해야 했기 때문에, 문서 또는 영상을 참조하더라도 도구를 부착하는 각도나 측정해야 하는 위치 등에 대한 수정이 빈번하게 발생했습니다. 이 때, 스켈레탈 메시 소켓을 상호작용이 필요한 여러 곳에 대략적인 위치만 잡아서 기능을 구현해두고, 이후 소켓의 정확한 위치와 각도를 의료진과 함께 보고 소통하며 실시간으로 수정할 수 있었습니다.
또한, 어태치를 활용한 소켓용 오버랩 이벤트 구현, 가이드 표시 등도 유용했습니다. 환자의 신체 부위와 상호작용이 필요한 상황들이 발생하는데, 이 경우에는 오버랩 이벤트를 구현한 액터를 소켓에 어태치하여 보다 많은 연출이 가능해집니다. 예를 들면 청진기가 오버랩 되었을 때 심장박동 소리를 출력하고, 진행도를 알 수 있도록 오버랩된 시간에 따라 애니메이션을 연출할 수 있는데, 이런 방법으로 의료 도구별로 원하는 대로 확장하여 간단히 연출과 이벤트를 구현할 수 있었습니다. 또한 오버랩 이벤트를 확장해 환자의 맥박을 측정할 수 있는 위치에 컨트롤러를 가까이하면 맥박을 짚는 모양으로 변경되고, 멀어지면 초기 상태로 손모양이 변경되는 기능도 구현하였습니다.
퍼펙트스톰 이미지 제공
오버랩 이벤트를 구현한 액터. 이벤트 디스패처를 사용해 의료 도구에 알맞게 오버랩해야 하는 시간과 범위를 설정하고 OnBeginOverlap, OnEndOverlap 등으로 확장하여 구현함
퍼펙트스톰 이미지 제공
오버랩 이벤트가 필요한 위치에 제작한 액터를 부착하고 청진기 이벤트를 구현
해당 시뮬레이션은 교육용으로 제작된 컨텐츠이므로 일반인도 체험할 수 있도록 다양한 가이드를 표시했습니다. 예를 들어, 체험자가 체온계를 들었다면 이를 직관적으로 사용할 수 있도록 환자의 귀에 가이드를 표시하는 등 정해진 위치에 부착해야 하는 의료 도구는 상호작용 해야하는 소켓명을 작성하고, 해당 의료도구를 잡았을 때 대응하는 소켓에 시각적인 가이드를 생성했습니다.
퍼펙트스톰 이미지 제공
마지막으로, 체험자가 인터랙션의 결과를 명확히 이해할 수 있도록 UI의 직관성이 확보되어야 했습니다. 의료기기의 모니터, 별도의 팝업창 등 다양한 형태 및 크기의 UI로 인터랙션의 결과를 출력하기 때문에 일목요연한 가독성과 시인성 높은 연출이 필요한데, 리치 텍스트 블록을 사용하여 전체적인 폰트를 관리하며 간단한 마크업 문법을 통해 텍스트 효과 및 연출을 효율적으로 구현할 수 있었습니다. 리치 텍스트 블록은 데이터 테이블에서 폰트를 관리하기 때문에 기획 단계에서 필요한 태그를 미리 파악한 후 처음부터 마크업 문법에 따라 작성해서 이후 큰 수정없이 작업할 수 있었으며, 매번 위젯에서 일일이 텍스트를 확인하면서 수정하지 않고 데이터 테이블에서 프로젝트 내에 사용되는 모든 텍스트 효과 및 연출을 일괄적으로 관리하면서 반복작업을 줄일 수 있었습니다.
퍼펙트스톰 이미지 제공
퍼펙트스톰 이미지 제공
리치 텍스트 블록을 활용한 의료 모니터 구현
의료 시뮬레이션에서의 핵심을 짚어주셔서 감사합니다. 프로젝트를 진행하시면서 가장 유용했던 언리얼 엔진의 기능은 무엇인가요?
가장 마음에 들었던 기능은 프로그래머가 아니더라도 비주얼 스크립팅을 통해 코드 없이 원하는 기능을 구현할 수 있게끔 해주는 블루프린트입니다. 블루프린트 시스템은 테스트 코드 작성과 컴파일 속도가 매우 빨라 초기 단계에서 문제 파악에 용이하며 프로토타입 제작에 효과적입니다. 또한, 정확성과 사실성이 중요한 의료 프로젝트인 만큼 전문가의 자문과 피드백을 수시로 반영해야 했는데, 블루프린트를 통해 빠르고 직관적으로 반복 작업을 처리할 수 있었습니다. 특히 그 기능 중에서도 타임라인을 활용하면 단 몇 개의 노드만으로도 애니메이션 제작이 가능하고 수정이 매우 쉬워집니다. 이번 프로젝트에서는 환자의 움직임을 실제 응급환자와 상당히 유사하게 제작해 신입 간호사가 실제 마주할 수 있는 상황을 연출하고자 고민을 많이 했는데, 그러다보니 같은 의료 도구라도 시나리오마다 조금씩 동작 방식이 다른 애니메이션들이 존재했습니다. 이 때 디테일을 살리면서도 수정이 필요할 경우 일부 값만 변경해 대응력을 높이는 등 효율적인 작업에 블루프린트가 큰 도움이 되었습니다.
또한 블루프린트는 다양한 의료기기의 구현에도 유용했습니다. 블루프린트는 비주얼 스크립트임에도 불구하고 강력한 객체지향 언어 시스템이기 때문에, 부모 클래스 설계 후 자손 블루프린트를 생성해 다양한 형태의 의료 도구를 코드 없이 손쉽게 구현하거나, 발생할 수 있는 다양한 상황에 맞는 애니메이션을 쉽게 추가하는 등 서로 고유한 특성과 작동 방식을 가지고 있는 다양한 의료기기들을 효율적으로 제작할 수 있었습니다.
물론 앞서 소개한 기능 외에도 유용한 기능들은 정말 많습니다. 모프 타깃을 타임라인으로 제어하는 방식으로 환자의 기침 애니메이션을 제작했고, 케이블이 많은 의료 도구의 애니메이션 제작에는 스플라인 툴을 활용하여 케이블과 연결된 오브젝트의 위치가 변경되거나 환자의 자세가 바뀌어도 매번 새로 제작하지 않아도 되었습니다. 하지만 무엇보다 이런 기능들을 충분히 활용할 수 있도록 깔끔하게 정리되어 있을 뿐만 아니라 현지화된 문서 페이지도 언리얼 엔진의 큰 장점이라고 생각합니다.
가장 마음에 들었던 기능은 프로그래머가 아니더라도 비주얼 스크립팅을 통해 코드 없이 원하는 기능을 구현할 수 있게끔 해주는 블루프린트입니다. 블루프린트 시스템은 테스트 코드 작성과 컴파일 속도가 매우 빨라 초기 단계에서 문제 파악에 용이하며 프로토타입 제작에 효과적입니다. 또한, 정확성과 사실성이 중요한 의료 프로젝트인 만큼 전문가의 자문과 피드백을 수시로 반영해야 했는데, 블루프린트를 통해 빠르고 직관적으로 반복 작업을 처리할 수 있었습니다. 특히 그 기능 중에서도 타임라인을 활용하면 단 몇 개의 노드만으로도 애니메이션 제작이 가능하고 수정이 매우 쉬워집니다. 이번 프로젝트에서는 환자의 움직임을 실제 응급환자와 상당히 유사하게 제작해 신입 간호사가 실제 마주할 수 있는 상황을 연출하고자 고민을 많이 했는데, 그러다보니 같은 의료 도구라도 시나리오마다 조금씩 동작 방식이 다른 애니메이션들이 존재했습니다. 이 때 디테일을 살리면서도 수정이 필요할 경우 일부 값만 변경해 대응력을 높이는 등 효율적인 작업에 블루프린트가 큰 도움이 되었습니다.
또한 블루프린트는 다양한 의료기기의 구현에도 유용했습니다. 블루프린트는 비주얼 스크립트임에도 불구하고 강력한 객체지향 언어 시스템이기 때문에, 부모 클래스 설계 후 자손 블루프린트를 생성해 다양한 형태의 의료 도구를 코드 없이 손쉽게 구현하거나, 발생할 수 있는 다양한 상황에 맞는 애니메이션을 쉽게 추가하는 등 서로 고유한 특성과 작동 방식을 가지고 있는 다양한 의료기기들을 효율적으로 제작할 수 있었습니다.
물론 앞서 소개한 기능 외에도 유용한 기능들은 정말 많습니다. 모프 타깃을 타임라인으로 제어하는 방식으로 환자의 기침 애니메이션을 제작했고, 케이블이 많은 의료 도구의 애니메이션 제작에는 스플라인 툴을 활용하여 케이블과 연결된 오브젝트의 위치가 변경되거나 환자의 자세가 바뀌어도 매번 새로 제작하지 않아도 되었습니다. 하지만 무엇보다 이런 기능들을 충분히 활용할 수 있도록 깔끔하게 정리되어 있을 뿐만 아니라 현지화된 문서 페이지도 언리얼 엔진의 큰 장점이라고 생각합니다.
퍼펙트스톰 이미지 제공
모프타깃을 활용한 애니메이션 제작
마지막으로 퍼펙트스톰에서 바라보시는 언리얼 엔진의 비전 및 퍼펙트스톰의 행보가 궁금합니다.
최근 공개된 언리얼 엔진 5 얼리 액세스 버전을 보면서, 상상을 초월한 고퀄리티 리얼타임 렌더링과 최적화 등은 향후 시장의 패러다임을 바꿀 것이라고 생각합니다. 이미 다양한 산업 분야에서 언리얼 엔진을 사용해 수많은 고퀄리티의 콘텐츠들을 개발하고 있습니다. 특히 에픽게임즈는 직접 콘텐츠를 제작하면서 얻은 노하우를 언리얼 엔진에 끊임없이 적용하고 있어 앞으로도 더 많은 산업 분야에서 유용하게 사용될 것으로 보이고, 전 세계적으로 영향력이 더욱 커질 것으로 생각됩니다.
저희 퍼펙트스톰도 세계적인 트렌드에 맞춰가기 위해 언리얼 엔진을 사용하여 고퀄리티 렌더링 이미지의 컬러/재질 라이브러리 연동 및 옵션을 자동으로 조합할 수 있는 클라우드 기반의 솔루션과, 3D 모델 자동 스캐닝 기술을 활용한 솔루션을 기획하고 있습니다. 궁금하신 분들께서는 저희 퍼펙트스톰의 홈페이지, 페이스북, 인스타그램을 통해 소식을 접하실 수 있으니 많이 기대해 주세요.
최근 공개된 언리얼 엔진 5 얼리 액세스 버전을 보면서, 상상을 초월한 고퀄리티 리얼타임 렌더링과 최적화 등은 향후 시장의 패러다임을 바꿀 것이라고 생각합니다. 이미 다양한 산업 분야에서 언리얼 엔진을 사용해 수많은 고퀄리티의 콘텐츠들을 개발하고 있습니다. 특히 에픽게임즈는 직접 콘텐츠를 제작하면서 얻은 노하우를 언리얼 엔진에 끊임없이 적용하고 있어 앞으로도 더 많은 산업 분야에서 유용하게 사용될 것으로 보이고, 전 세계적으로 영향력이 더욱 커질 것으로 생각됩니다.
저희 퍼펙트스톰도 세계적인 트렌드에 맞춰가기 위해 언리얼 엔진을 사용하여 고퀄리티 렌더링 이미지의 컬러/재질 라이브러리 연동 및 옵션을 자동으로 조합할 수 있는 클라우드 기반의 솔루션과, 3D 모델 자동 스캐닝 기술을 활용한 솔루션을 기획하고 있습니다. 궁금하신 분들께서는 저희 퍼펙트스톰의 홈페이지, 페이스북, 인스타그램을 통해 소식을 접하실 수 있으니 많이 기대해 주세요.
지금 언리얼 엔진을 다운로드하세요!
세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.