Duality Robotics 이미지 제공

로봇 훈련: 애니메이션 영화부터 가상 환경까지

Sébastien Lozé |
2021년 3월 2일
자율 로봇은 수년간 산업 분야에서 활용되었지만, 한 곳에 고정된 기계로서 매우 특수한 작업에만 제한적으로 사용되는 경우가 대부분이었습니다. 붐비는 건물, 사막 환경, 탁 트인 도로 등을 홀로 누비고 인간만큼 일을 잘 해낼 수 있는 완전한 자율 로봇과 드론, 자동차는 아직 등장하지 않았습니다. 

많은 기업이 자율 시스템 표준을 정립하기 위해 고군분투하고, 기계가 인간과 재산을 위협하거나 자체적으로 위험을 초래하는 기계 없이 일반적인 규범에 따라 극한 상황과 이례적인 경우를 엄격히 테스트할 수 있는 가상 환경에서 기계를 테스트하고 있습니다. 하지만 이러한 테스트는 리얼타임으로 실행되는 사실적인 가상 세계와 현실, 가상 환경 모두를 능숙하게 다루는 이중적인 기술이 필요합니다.

이러한 이중성은 듀얼리티 로보틱스(Duality Robotics)의 핵심 기술이자 로봇과 인공지능(AI) 개발용 플랫폼, 팰컨(Falcon)의 특징이기도 합니다. 언리얼 엔진 기반인 팰컨의 머신 러닝 네트워크는 현실과 합성 세계를 구분할 수 없을 정도로 매우 사실적인 환경을 제공합니다. 듀얼리티 로보틱스는 최근에 에픽 메가그랜트를 수상하며 팰컨 플랫폼의 발전 가능성을 보여줬습니다.

로봇과 애니메이션의 만남

듀얼리티 로보틱스는 마이크 테일러(Mike Taylor)와 아푸르바 샤(Apurva Shah)가 2018년에 설립한 회사입니다. 캐터필러사(Caterpillar Inc.)에서 대형 필드 로봇 제작팀을 이끌었던 테일러는 현재 듀얼리티의 수석 로봇 기술자 겸 솔루션 엔지니어링 책임자이며, 샤는 최고경영자(CEO)인 동시에 고품질 애니메이션 영화 제작을 담당하는 비주얼 이펙트 감독입니다. 샤는 12년간 픽사 애니메이션 스튜디오(Pixar Animation Studios)에서 근무하며 오늘날 로봇 산업에서 나타나는 데이터 집약적인 환경 문제를 해결하는 데 기여했습니다.

샤와 테일러는 뜻밖의 조합으로 보이지만, 복잡한 환경 시나리오를 정확하게 시뮬레이션하고 센서와 기계가 리얼타임으로 반응하며 씬을 작동시키는 방법을 제시하는 등 시뮬레이션에 있어서 각자 중요한 역할을 맡고 있습니다. 
Duality Robotics 이미지 제공
듀얼리티는 픽사에서 매우 크고 복잡한 3D 모델을 효율적으로 정의하기 위해 개발한 데이터 형식인 유니버설 씬 디스크립션(Universal Scene Description, USD) 표준에서 답을 찾았습니다. 샤가 말합니다. “우리는 데이터 모델 측면에서 아주 탄탄한 기반을 갖춰야 한다는 걸 처음부터 알고 있었습니다.”

샤는 ‘토이스토리(1995년 개봉)’, ‘카(2006년 개봉)’, ‘메리다와 마법의 숲(2012년 개봉)’ 등 픽사에서 제작한 영화를 예로 들며 로봇 테스트에 USD를 채택한 이유를 설명합니다. 샤에 따르면, ‘토이 스토리’ 이야기는 대부분 어린 소년의 침실이라는 비교적 작은 세상을 배경으로 펼쳐집니다.

샤가 말합니다. “반면 영화 ‘카’에서는 풍경과 도시를 배경으로 삼기에 이르렀고, ‘메리다와 마법의 숲’에선 숲 전체를 시뮬레이션해야 했죠. USD를 도입하기 전에는 복잡성이 감당이 안 됐습니다. 파이프라인이 막혔죠.”

샤는 로봇 공학에서의 이런 문제를 설명하기 위해 로봇의 시점으로 표현했습니다. 샤가 말합니다. “지난 수십 년간 대형 로봇은 우리에 갇힌 상태로 작동해 왔습니다. 로봇의 세상은 아주 단순했죠 갑자기 우리를 없애고 분주한 창고 안을 돌아다니게 한다고 생각해 보세요. 로봇 입장에서는 정말 혼란스러울 겁니다. 이때 복잡성은 2배, 4배가 아니라 기하급수적으로 늘어납니다. 그 상황을 효율적으로 표현하려면 어떻게 해야 할까요? 문제를 해결하려면, 일단 문제를 표현할 수 있어야 합니다.”

샤와 테일러는 바로 이러한 유사점에 착안하여 자율 로봇, 자동차, 드론 전용 테스트 솔루션 개발에 필요한 엄청난 양의 환경 데이터 세트를 위한 표준 형식으로 USD를 채택했습니다. 듀얼리티는 USD 형식을 사용함으로써 센서와 기계를 통해 대량의 데이터가 시뮬레이션 안팎으로 실행되더라도 리얼타임으로 작동되기에는 충분한 환경을 만들 수 있습니다. 
Duality Robotics 이미지 제공
이러한 기능은 오랫동안 차세대 항공 자율 시스템 기술을 선도해 온 허니웰 에어로스페이스(Honeywell Aerospace)를 비롯하여 듀얼리티의 첨단 기술 고객사에도 중요합니다. 허니웰 에어로스페이스의 첨단기술 엔지니어링 책임자 제프 래드키(Jeff Radke)가 말합니다. “여러 툴 중에서도 강력한 모듈식 3D 시뮬레이션 환경은 차세대 솔루션을 효율적으로 개발하고 알고리듬과 시스템을 신속하게 설계, 테스트, 검증하는 데 중요한 역할을 합니다.” 

복잡한 세상을 시뮬레이션하다

허니웰을 포함한 듀얼리티의 고객들은 듀얼리티를 알기 이전부터 시뮬레이션을 경험한 적이 있는 편입니다. 테일러는 많은 고객이 속도와 활용도를 높이기 위해 듀얼리티를 찾는다고 말합니다. 사내 솔루션 개발은 프로그램 위험성과 일정 지연 문제를 유발하기 때문입니다.

테일러가 말합니다. “엔지니어 대부분이 자율 시뮬레이터의 필요성을 알지만, 확실한 시뮬레이터를 제시하기는 어려울 수 있습니다. 시뮬레이터 개발을 시작하거나, 자원을 최대한 활용하기 위한 인력이 부족할 때가 많으니까요. 게임과 영화에 익숙한 사람이 없다는 점도 흔히 겪는 문제입니다.”

샤의 설명에 따르면, 하나의 특정 작업을 적절히 수행하는 다양한 시뮬레이션 상품(예를 들어 풍동 시뮬레이터)이 시중에 나와 있지만, 고객은 이러한 툴과 자체 제작한 커스텀 시뮬레이션을 결합했을 때 나오는 결과물이 불완전하고, 부정확하고, 리얼타임 재생 속도가 너무 느린 문제를 겪습니다.

사실적인 환경을 제작한 샤의 경험과 테일러의 깊은 로봇 공학 지식을 결합하고, 확장성과 상호 운용성, 효율성이 장점인 USD 파일 형식을 사용하고, 언리얼 엔진의 그래픽과 시뮬레이션 역량을 더함으로써, 듀얼리티는 경쟁이 치열한 로봇 산업에서 뛰어난 속도와 사실성을 통해 우수한 시뮬레이션 솔루션을 생산할 수 있었습니다.
Duality Robotics 이미지 제공
테일러가 말합니다. “이 분야의 솔루션은 여러 가지 성능을 보장하지만, 실제로는 보장한 기능의 일부만 제공하는 경우가 많습니다. 필드 로봇은 핵심 시뮬레이션을 넘어 현실 세계의 다양성과 복잡성을 반영하는 시뮬레이션 환경도 필요합니다.”

샤는 팰컨이 센서 스트림에 실제 카메라 효과를 추가하여 기계가 현실 세계에서 접하는 장면과 거의 일치하는 비주얼을 만들어낼 수 있다는 점이 듀얼리티의 큰 장점이라고 합니다. 샤가 말합니다. “렌즈와 카메라 모델, 뎁스 오브 필드, 보케 효과 등은 모두 시각 시스템에 전자 광학 센서의 합성된 출력이 나타나기 전부터 사진에 내장됩니다.”
Duality Robotics 이미지 제공

고퀄리티 데이터를 통한 시뮬레이션 증명

시뮬레이션의 사실감과 속도는 현실 세계에서 자율 시스템을 구축하는 기업들에게 매우 중요한 요소입니다. 예를 들어, 허니웰의 차세대 자율 솔루션 개발에서 중요한 문제는 허니웰의 엄격한 자체 품질 기준을 시스템이 충족하는지 검증하는 일이죠. 그러한 첨단 시스템의 경우, 충실도 높은 3D 포토리얼 시뮬레이터로 얻은 데이터를 활용하여, 가능한 시나리오와 환경에 걸쳐 현실 세계의 데이터를 수집하는 프로세스를 강화해야 합니다. 

종종 이러한 시스템의 핵심을 차지하는 AI와 머신 러닝 방식의 비약적인 발전은 다양한 고퀄리티 합성 데이터의 필요성을 더욱 높일 뿐입니다. 엔지니어링 팀에서 적절한 시뮬레이션 툴을 사용하면 연구실에서 반복적으로, 또 점진적으로 알고리듬을 개선하여 품질 저하 없이 개발 속도를 향상할 수 있습니다.
Duality Robotics 이미지 제공
허니웰 에어로스페이스의 대체 운항 및 자율화 그룹(Alternative Navigation and Autonomy Group) 오퍼링 디렉터 탄다바 에다라(Thandava Edara)는 말합니다. “듀얼리티의 시뮬레이터는 자사의 알고리듬을 손쉽게 통합하고 다양한 시나리오에 맞는 적절한 품질의 데이터를 신속하게 생성하는 프레임워크를 제공해주었습니다. 덕분에 데이터 수집과 테스트로 발생하는 비용과 시간, 위험을 줄일 수 있었죠.”

듀얼리티의 또 다른 최신 프로젝트는 장거리 자율주행의 디지털 트윈입니다. 고객은 이미 트럭에 자율주행 센서와 작동 장치를 설치한 상태였고, 듀얼리티는 여기서 나아가 물리적 센서를 통해 필드 데이터를 수집하고, 트럭이 주행하는 동안 함께 돌아다니면서 이 특수 차량의 특징을 정밀하게 분석했습니다.  

그리고 디지털 트윈을 도입했습니다. 테일러가 설명합니다. “언리얼 엔진 외부에서 고객의 커스텀 작동 장치에 대한 시뮬레이션을 구축했고, 언리얼 엔진 내부에선 별도의 트랙터와 트레일러가 함께 묶인 트럭의 멀티 바디 다이내믹 모델을 구축했습니다. 그리고 이 결합된 다이내믹 시스템을 필드 데이터와 일치하도록 조정했죠.”

결과적으로 트럭의 자율주행 소프트웨어에서 이 결합된 시뮬레이션에 명령을 내려 언리얼 엔진 내부에서 트럭의 3D 모델을 구동할 수 있었습니다. 테일러가 말합니다. “언리얼의 아키텍처를 사용하여 매우 정확하게 통합된 시뮬레이션을 구축할 수 있었습니다. 덕분에 시뮬레이션된 트럭과 실제 데이터 사이는 센티미터 수준의 유사성을 보여줬습니다. 고속도로에서 달리는 속도로 동적 작동을 구현하면서 이 모든 작업이 빠르게 진행되었죠.” 
Duality Robotics 이미지 제공
현실적인 가상 환경에서 이루어지는 정확한 시뮬레이션이 물리적 시스템을 검증할 수 있는 것과 마찬가지로, 물리적 기기나 데이터의 결함을 알려줄 수도 있습니다. 샤와 테일러는 듀얼리티가 자율보행 로봇을 위한 가상의 연습 환경을 만드는 일을 맡았을 때를 떠올리며 이야기를 이어갔습니다. 시뮬레이션에서 보행 로봇은 특정 그림자 유형을 계속 개체로 잘못 해석했습니다. 

이러한 현상은 언뜻 시뮬레이션 문제로 보일 수 있지만, 실제 로봇이 그러한 그림자 유형을 접하게 됐을 때 시뮬레이션과 정확히 동일하게 행동했다는 사실이 밝혀졌습니다. 즉, 실제 로봇의 인지 시스템이 시뮬레이션과 동일한 실수를 저질렀을 정도로 시뮬레이터가 로봇 센서를 정확하게 모사한 셈입니다. 테일러가 말합니다. “실수의 유형뿐만 아니라 속성까지 똑같았습니다. 가상과 실제 기계의 행동이 완전히 똑같았다는 점에서 중요한 의미가 있었죠.” 

플랫폼으로서의 언리얼 엔진

듀얼리티는 언리얼 엔진을 시뮬레이션 솔루션의 기본 툴로 채택하는 과정에서, 이따금 게임 엔진을 이런 섬세한 기술에 사용하는 것에 의문을 제기하는 고객을 설득해야만 했습니다. 테일러가 말합니다. “게임 엔진이 결정론적일 수 없다고 생각하는 고객들이 있지만, 저희는 그것이 가능하다는 걸 빠르게 보여드릴 수 있습니다.” 게임 엔진을 써봤지만 효과가 없었다고 하는 고객도 있습니다. 시뮬레이션에서 인간, 자동차, 나뭇잎의 행동이 정확하게 이뤄질지 우려하는 고객도 있죠. 충분히 우려할 법한 내용이므로, 우리는 고객에게 언리얼 엔진의 잠재력과 문제 해결을 위한 활용법을 정확하게 알리려고 노력합니다.”

듀얼리티는 기계의 도메인에서 타기팅된 상세한 시연을 펼치고, 고객은 이를 통해 리얼타임으로 문제가 해결되는 모습을 확인함으로써 우려를 떨쳐버릴 수 있습니다. 테일러가 말합니다. “백문이 불여일견이라는 말이 있죠. 저희는 말로 그치지 않습니다. 결과로 보여주죠.”
Duality Robotics 이미지 제공
Duality Robotics 이미지 제공
듀얼리티는 여러 이유로 언리얼 엔진을 팰컨의 플랫폼으로 선택했습니다. 샤가 말합니다. “월드의 충실도가 정말 중요합니다. 폭이 0.5cm가 넘는 건 전부 모델링합니다. 모델 대신 텍스처로 표현되기 때문에, 센서는 각도와 거리에 따라 조그만 이상 현상도 읽어낼 수 있습니다. 언리얼 엔진은 높은 수준의 그래픽 충실도를 유지하죠.”

엔지니어가 스스로 관리하고 구축할 수 있는 시뮬레이션을 듀얼리티에서 손쉽게 구축할 수 있다는 장점도 있습니다. 예를 들면 듀얼리티 시스템은 USD 파일 형식에 노출된 어트리뷰트를 조정 가능한 파라미터로 포함할 수 있으므로, 언리얼 에디터 사용법을 모르는 엔지니어도 바로 렌즈 정보를 변경할 수 있습니다.

하지만 샤가 언리얼 엔진의 가장 큰 장점으로 손꼽는 기능은 강력한 비주얼 스크립팅 시스템인 블루프린트를 포함한 아키텍처입니다. 샤가 말합니다. “아키텍처는 3D 운영체제 같습니다. 레벨을 구축하고 이러한 시나리오를 다룰 수 있는 강력한 에디터, C++ 그리고 블루프린트가 한데 모인 튼튼한 기반인 거죠. 전반적인 생태계와 그 생태계를 이루는 아키텍처는 저희에게 정말 중요한 부분이거든요.”

듀얼리티의 API는 기본적으로 ROS 통합 기능을 기본 제공하며, 엔지니어는 샤가 머신 러닝의 ‘공용어’로 칭하는 파이썬(Python)으로 직접 코딩할 수 있습니다. 샤가 말합니다. “이미 구축한 자율 스택이 있다면, 최소한의 작업만으로 통합할 수 있습니다.”

듀얼리티 팀은 앞으로 자율 시뮬레이터 작업을 이어가고, 언리얼 엔진을 통해 목표를 향해 계속 추진해 나갈 겁니다. 
“가상과 현실, 두 세계의 경계를 허물 방법이 뭘까요?” 샤가 물었습니다. “우리는 이 이중성을 해결하려 노력 중입니다. 2년이면 해결할 수 있는 문제가 아닙니다. 10년, 15년은 걸릴 문제라고 봅니다. 언리얼 엔진에는 이러한 작업을 수행하는 데 필요한 충실도와 확장성이 있습니다.”

    문의하세요!

    훈련 및 시뮬레이션에 언리얼 엔진의 잠재력을 활용하는 방법에 관심이 있으신가요?
    여러분의 문의는 언제나 환영합니다.
    스포트라이트
    7월 21일

    언리얼 엔진의 최신 인카메라 VFX 툴세트 테스트하기

    최근 에픽게임즈와 영화 제작자 단체 블리트(Bullitt)는 팀을 꾸려 언리얼 엔진 4.27 버전에서 버추얼 프로덕션 툴 제품군의 일부인 최신 인카메라 VFX 툴세트를 테스트했습니다. 툴의 새로운 역량을 선보이고자, 팀은 짧은 테스트 영상을 제작하여 프로덕션 워크플로를 재연해 보았습니다.
    스포트라이트

    언리얼 엔진의 최신 인카메라 VFX 툴세트 테스트하기

    최근 에픽게임즈와 영화 제작자 단체 블리트(Bullitt)는 팀을 꾸려 언리얼 엔진 4.27 버전에서 버추얼 프로덕션 툴 제품군의 일부인 최신 인카메라 VFX 툴세트를 테스트했습니다. 툴의 새로운 역량을 선보이고자, 팀은 짧은 테스트 영상을 제작하여 프로덕션 워크플로를 재연해 보았습니다.
    이벤트
    7월 12일

    언리얼 엔진 5 루멘 챌린지에 도전하세요!

    언리얼 엔진 5의 완전히 다이내믹한 글로벌 일루미네이션 솔루션인 루멘으로 여러분의 창의성을 상상보다 멋진 현실로 구현해 보세요!
    이벤트

    언리얼 엔진 5 루멘 챌린지에 도전하세요!

    언리얼 엔진 5의 완전히 다이내믹한 글로벌 일루미네이션 솔루션인 루멘으로 여러분의 창의성을 상상보다 멋진 현실로 구현해 보세요!
    뉴스
    5월 26일

    언리얼 엔진 5 얼리 액세스가 출시되었습니다!

    UE5 얼리 액세스 빌드는 최신 기술에 관심 있는 게임 개발자들이 기능을 시험해 보고, 다음 게임의 프로토타입을 제작하실 수 있도록 준비되었습니다. 루멘, 나나이트 그리고 더 많은 기술을 최초로 활용해볼 수 있는 기회입니다.
    뉴스

    언리얼 엔진 5 얼리 액세스가 출시되었습니다!

    UE5 얼리 액세스 빌드는 최신 기술에 관심 있는 게임 개발자들이 기능을 시험해 보고, 다음 게임의 프로토타입을 제작하실 수 있도록 준비되었습니다. 루멘, 나나이트 그리고 더 많은 기술을 최초로 활용해볼 수 있는 기회입니다.