기술 블로그
2026년 3월 18일
UE 모바일 게임에 뛰어난 비주얼을 선사하는 Arm Accuracy Super Resolution
Arm은 모바일 게임의 핵심입니다. 전 세계 스마트폰의 99%가 Arm 기반으로, 전 세계 모바일 게임 개발자들이 효율적이며 몰입감 있는 고성능 게임을 제작하고 최적화하며 배포할 수 있는 필수 컴퓨팅 플랫폼입니다.
언리얼 엔진 커뮤니티 여러분, 안녕하세요. 저는 ARM 에코시스템 팀의 스태프 개발자 에반젤리스트인 줄리 개스킨(Julie Gaskin)입니다. 이제 모바일 게임 개발자들에게 비주얼 퀄리티는 최우선 과제가 되었습니다. 모바일 하드웨어는 세대가 거듭될수록 성능이 향상되어 스마트폰과 기존 게임 플랫폼 간의 격차를 점점 좁혀가고 있습니다. 또한 GPU 성능이 지속적으로 향상되면서, 복잡한 라이팅이나 고퀄리티 이펙트처럼 과거에는 PC와 콘솔에서 주로 구현되었던 기능들이 모바일 타이틀에서도 점차 보편화되고 있습니다.
하지만 이러한 발전에도 불구하고, 모바일 디바이스에는 여전히 엄격한 제약이 적용됩니다. 모바일 디바이스는 배터리로 작동하고 과열되기 쉬우며, 픽셀 밀도가 매우 높은 고해상도 디스플레이에 렌더링됩니다. 이 때문에 픽셀 단위의 처리와 최적화 하나하나가 매우 중요합니다.
오늘날의 모바일 게임은 복잡한 라이팅, 포스트 프로세싱 이펙트, 동적인 월드, 더 나아가 레이 트레이싱의 초기 적용까지 시도하며 모바일 환경의 한계를 끌어올리고 있습니다. 하지만 픽셀 밀도가 높은 화면을 높은 프레임 레이트로 렌더링하는 것은 성능에 큰 부담이 됩니다. 이는 전력 소모를 크게 늘리고 GPU에 부하를 가하며, 배터리를 빠르게 소모시킵니다. 특히 요즘 플레이어들이 기대하는 수준의 비주얼 완성도를 구현하려 할수록 비용이 증가합니다.
하지만 이러한 발전에도 불구하고, 모바일 디바이스에는 여전히 엄격한 제약이 적용됩니다. 모바일 디바이스는 배터리로 작동하고 과열되기 쉬우며, 픽셀 밀도가 매우 높은 고해상도 디스플레이에 렌더링됩니다. 이 때문에 픽셀 단위의 처리와 최적화 하나하나가 매우 중요합니다.
오늘날의 모바일 게임은 복잡한 라이팅, 포스트 프로세싱 이펙트, 동적인 월드, 더 나아가 레이 트레이싱의 초기 적용까지 시도하며 모바일 환경의 한계를 끌어올리고 있습니다. 하지만 픽셀 밀도가 높은 화면을 높은 프레임 레이트로 렌더링하는 것은 성능에 큰 부담이 됩니다. 이는 전력 소모를 크게 늘리고 GPU에 부하를 가하며, 배터리를 빠르게 소모시킵니다. 특히 요즘 플레이어들이 기대하는 수준의 비주얼 완성도를 구현하려 할수록 비용이 증가합니다.
모바일에서의 업스케일링
업스케일링을 시작하세요. 낮은 해상도로 렌더링한 뒤 이미지를 지능적으로 재구성하면, 비주얼 퀄리티를 유지하면서 GPU 부하를 줄일 수 있습니다.
PC와 콘솔 환경에서는 스페이셜, 스페이셜 템포럴, 머신 러닝 기반 솔루션 등 다양한 고급 업스케일링 방식이 활용되고 있으며 뛰어난 결과를 보여주고 있습니다. 하지만 이러한 기법은 모바일에서는 잘 적용되지 않는 경우가 많습니다. 그 이유는 주로 다음과 같습니다.
- 연산 부담이 지나치게 높음
- 전력 소모가 너무 큼
- 스마트폰의 제약 조건에 맞게 최적화되지 않음
Arm Accuracy Super Resolution(Arm ASR)
모바일 환경을 위해 설계된 Arm Accuracy Super Resolution(Arm ASR)은 효율성에 중점을 둔 셰이더 기반의 템포럴 업스케일러로, 고퀄리티 이미지 재구성을 제공합니다. 이는 개발자가 고사양 콘텐츠에서도 비주얼 퀄리티 손실 없이 GPU 작업 부하를 크게 줄일 수 있음을 의미합니다.
Arm ASR은 PC 및 콘솔 게임에서 이미 그 성능이 입증된 오픈 소스 템포럴 업스케일링 솔루션인 AMD의 FidelityFX™ Super Resolution 2(FSR 2)를 기반으로 합니다. 저희는 FSR2를 확장하고 최적화해 모바일 환경의 고유한 요구사항에 맞는 특별한 커스텀 버전을 만들었습니다. 그 결과, 리소스가 제한된 환경에서도 FSR2의 성능을 제공하는 슈퍼 해상도 솔루션인 Arm ASR이 탄생했습니다.
GPU 및 CPU 병목 현상 이해하기
Arm ASR을 최대한 활용하려면 언제 어디에서 가장 뛰어난 효과를 발휘하는지 이해하는 것이 중요합니다. 모바일 GPU는 그래픽 워크로드를 지오메트리 처리 단계와 픽셀(프래그먼트) 처리 단계, 두 가지 주요 단계로 처리합니다.
- 지오메트리 처리 단계에서는 그려질 대상에 대해 버텍스 트랜스폼과 컬링을 수행합니다.
- 픽셀 처리 단계는 프래그먼트 셰이딩이라고도 하며, 라이팅, 텍스처, 기타 이펙트를 적용해 화면의 각 픽셀에 색상을 입히고 뎁스 및 스텐실 테스트를 통해 가려진 프래그먼트를 제거합니다.
Arm ASR은 프래그먼트 바운드 콘텐츠에 가장 적합합니다. 이는 화면에 처리해야 할 프래그먼트 수가 많거나 프래그먼트 셰이더가 복잡해 픽셀 셰이딩 단계에서 GPU에 큰 부하가 걸리는 경우를 의미합니다. 이러한 상황에서 ASR은 셰이딩해야 하는 픽셀 수를 줄여 성능과 전력 효율을 향상시킵니다.
반면, 지오메트리가 주요 병목으로 작용하는 버텍스 바운드 씬에서는 Arm ASR의 효과가 제한적일 수 있습니다. 이러한 경우에는 메시 단순화나 컬링 기법과 같은 콘텐츠 최적화를 통해 성능을 개선하는 것이 더 효과적입니다.
마찬가지로 피직스, 애니메이션, 드로 콜 제출 등으로 프로세서에 부하가 집중되는 CPU 바운드 상황에서도 ASR의 효과는 제한적입니다. CPU가 이미 병목인 상황에서는 GPU 부하를 줄이더라도 성능이 향상되지 않습니다.
게임이 CPU 바운드인지, 버텍스 바운드인지, 또는 프래그먼트 바운드인지 파악하려면 Arm Performance Studio와 같은 툴을 사용해 실제 Android 디바이스에서 게임을 프로파일링할 수 있습니다. 이를 통해 렌더링 병목에 알맞은 최적화 전략을 적용할 수 있습니다.
포트나이트가 Arm ASR을 사용하여 모바일 게임의 한계를 넓히는 방법
포트나이트처럼 시각적 완성도가 높고 성능 요구사항이 까다로운 게임을 출시할 때는 모바일 하드웨어의 성능을 최대한 활용할 수 있는 방법을 끊임없이 모색하게 됩니다.
모바일 디바이스는, 특히 안정적인 60Hz 게임플레이를 목표로 하는 경우 CPU와 GPU 작업 부하로 인한 부담이 있습니다. Arm ASR은 플레이어에게 제공하는 비주얼 퀄리티를 유지하거나 향상시키는 동시에 GPU 부담을 줄일 수 있는 방법입니다.
하지만 Arm ASR의 진정한 강점은 발열 및 성능 한계를 맞추기 위해 모바일에서 불가피하게 비활성화했던 기능들을 다시 활성화할 수 있게 해준다는 것입니다. 앰비언트 오클루전, 추가 섀도 캐스케이드, 포스트 프로세싱 향상과 같은 기능들을 이제 장시간의 플레이 세션 중에도 다시 활용할 수 있게 되었습니다.
모바일 디바이스는, 특히 안정적인 60Hz 게임플레이를 목표로 하는 경우 CPU와 GPU 작업 부하로 인한 부담이 있습니다. Arm ASR은 플레이어에게 제공하는 비주얼 퀄리티를 유지하거나 향상시키는 동시에 GPU 부담을 줄일 수 있는 방법입니다.
하지만 Arm ASR의 진정한 강점은 발열 및 성능 한계를 맞추기 위해 모바일에서 불가피하게 비활성화했던 기능들을 다시 활성화할 수 있게 해준다는 것입니다. 앰비언트 오클루전, 추가 섀도 캐스케이드, 포스트 프로세싱 향상과 같은 기능들을 이제 장시간의 플레이 세션 중에도 다시 활용할 수 있게 되었습니다.
실질적인 효과를 제공하는 매끄러운 통합
Arm ASR은 포트나이트 팀이 통합을 시작했을 당시 거의 바로 적용할 수 있을 정도로 준비된 상태였습니다. 다만 렌더러 측면에서 모바일 파이프라인이 씬 입력을 처리하는 방식과 관련하여 일부 조정을 적용해야 했습니다.(이 변경 사항은 이후 언리얼 엔진의 공식 코드에 반영되었습니다). 초기 단계에서 가장 먼저 마주한 과제 중 하나는 고스트 현상이었는데 이는 빠르게 움직이는 씬이나 투명 요소가 포함된 경우에 특히 두드러졌습니다. 식생, 파티클 이펙트, 무기의 반짝임 등이 이에 해당합니다.
이를 해결하기 위해 포트나이트 팀은 템포럴 아티팩트가 발생할 가능성이 높은 픽셀을 동적으로 식별하는 리액티브 마스크를 활성화했습니다. 그들은 이 기능을 모바일 렌더러 API에 직접 통합해, 씬 변화에 따라 마스크가 실시간으로 업데이트되도록 했죠. 그 결과, 고스트 현상이 최소화되고 이미지 안정성이 크게 향상되었습니다. 이를 지원하기 위해 적용된 엔진 측 변경사항은 현재 최신 버전의 언리얼 엔진에서 사용할 수 있습니다.
다음은 코드 수준 통합의 주요 내용입니다.
- PrePostProcess RHI 커맨드 수정
- 모바일 렌더러 입력 추가
- 가용성에 따라 MobileSceneTextures 또는 DeferredSceneTextures를 조건부로 사용
시간이 지나도 성능을 유지하는 설계
처음에 포트나이트가 Arm ASR을 도입한 주된 목적은 발열 및 전력 최적화였으며, 이는 특히 60Hz를 목표로 하는 고사양 디바이스에서 매우 중요한 요소였습니다. Arm ASR을 활성화하자 GPU 처리 시간이 눈에 띄게 감소했고, 덕분에 기기 표면 온도가 낮아지며 스로틀링 완화로 이어져 더 오랜 시간 안정적으로 플레이할 수 있게 되었습니다.
하지만 이는 단순히 전력을 절약하는 데 그치지 않습니다. 이 기능의 목적은 장시간의 플레이 세션 전반에 걸쳐 성능을 안정적으로 유지하는 것입니다. 기기 발열 스파이크가 줄어들면 프레임 레이트가 더 안정되고, 게임플레이는 한층 부드러워지며, 플레이어 만족도도 높아집니다.
버텍스 제한 씬을 위한 최적화
이렇게 확보된 GPU 시간은 콘텐츠 팀에 새로운 가능성을 열어주었습니다. 포트나이트에서는 특히 넓은 오픈 월드 영역에서 버텍스가 제한되는 경우가 많습니다. 여유 자원을 더 확보하기 위해 포트나이트 개발팀은 지오메트리 처리량을 최적화하기 시작했으며, 그중에서도 가장 주목할 만한 시도는 새로운 실험 단계 기능인 로우 버텍스 랜드스케이프 시스템이었습니다.
Arm ASR과 지오메트리 최적화를 함께 적용하자, 프레임 레이트를 저하시키지 않고도 고급 비주얼 기능을 다시 활성화할 수 있을 만큼의 여유로운 성능 자원을 확보했습니다.
- 더 많은 캐스케이드를 적용한 고퀄리티 섀도
- 앰비언트 오클루전
- 향상된 포스트 프로세싱 이펙트
앞으로의 방향: 모바일에서 데스크톱급 기능 구현
Arm ASR이 완전히 통합된 지금, 포트나이트는 더욱 눈부신 비주얼 향상을 목표로 다음 단계를 바라보고 있습니다.
- 모바일에서 셰이더 모델 5 활성화
- 데스크톱급 기능 지원
- 성능 저하 없이 플랫폼 전반에서 비주얼 격차 해소
확장성을 고려한 설계: 모든 디바이스 등급을 위한 프리셋
모든 모바일 디바이스가 동일하지 않은 만큼, 게임 개발자들이 직면하는 성능과 퀄리티 사이의 절충점 또한 서로 다릅니다. Arm ASR은 유연한 퀄리티 프리셋을 제공해, 타깃 하드웨어의 성능에 맞춰 업스케일링 경험을 조정할 수 있도록 지원합니다.
Arm ASR에는 세 가지의 기본 퀄리티 프리셋이 제공되어, 개발자가 원하는 대로 성능과 비주얼 간의 균형을 조절할 수 있습니다.
- 퀄리티 모드 - 비주얼 임팩트가 가장 중요한 타이틀을 위한 프리셋입니다. 이미지 퀄리티를 최고 수준으로 끌어올립니다. 프리미엄 디바이스를 타깃으로 모바일 환경에서 구현할 수 있는 비주얼 퀄리티를 최대한 활용하고자 할 때 적합합니다. 다만 그만큼 성능 비용은 더 높습니다.
- 균형 모드 - Arm이 권장하는 기본 설정으로, 이미지 퀄리티와 성능의 균형을 가장 잘 맞춘 선택지입니다. 중급부터 고급 디바이스까지 폭넓게 적합하며, 과도한 비주얼 손실 없이 안정적인 프레임 레이트를 달성하고자 할 때 이상적입니다.
- 성능 모드 - 효율성이 중요한 경우를 위한 프리셋으로, 이미지 퀄리티를 약간 낮추는 대신 프레임 레이트와 반응성을 극대화하는 데 초점을 둡니다.
Arm ASR은 2022년 이후 출시된 디바이스에 가장 적합합니다. 구형 휴대폰의 경우 템포럴 업스케일링에 필요한 GPU 효율이 부족할 수 있습니다. 이러한 경우에는 대체 수단으로 스페이셜 기반 업스케일러를 사용하는 편이 더 알맞습니다.
모든 플랫폼에 적용되는 단일 솔루션: 완전히 독립적인 Arm ASR
Arm ASR은 플랫폼에 종속되지 않으며, 특정 벤더에 구애받지 않는 중립적인 솔루션입니다. 모든 GPU에서 실행되고 Vulkan, OpenGL ES, DirectX 11 및 12를 포함한 주요 그래픽 API를 모두 지원합니다.
완전히 셰이더 기반으로 동작하기 때문에, Android와 iOS를 타깃으로 하든 크로스 플랫폼 배포를 고려하든 관계없이 ASR은 어떤 파이프라인에도 매끄럽게 통합됩니다.