1989년에 출시된 영화 <백 투 더 퓨처>에서는 미래의 모습인 2015년을 배경으로 하고 있습니다. 이에 신비한 과학 기술들이 많이 나오는데, 대표적으로 주인공 마티의 자녀들이 사용하는 스마트 글라스가 있습니다. 이를 이용해 텔레비전을 보기도 하고, 걸려 온 전화를 받기도 하죠. 이처럼 스마트 글라스에 대한 사람들의 환상은 꽤나 오래되었다고 볼 수 있겠네요.

애플에서는 XR 기술을 적용한 신제품 애플 비전 프로를 선보였습니다. 애플 비전 프로는 전통적인 화면의 경계를 초월하여 확장된 디스플레이를 이용해 앱을 사용합니다. 즉, 눈에 보이는 모든 것이 곧 사용자만의 도화지가 될 수 있죠. 이를 가장 자연스럽고 직관적인 입력체계인 사용자의 눈, 손, 음성을 통해 조작합니다. 애플에서는 이를 ‘공간 컴퓨팅’이라는 개념으로 정의하였는데요. 공간 컴퓨팅이란, 기존에 컴퓨터가 2차원 그래픽 화면과 키보드, 마우스 등의 입력 장치에 의존했던 것에서 벗어나 현실 세계의 3차원 공간을 기반으로 입력, 처리, 표현할 수 있는 컴퓨팅 체계를 의미합니다. 즉, 가상현실(Virtual Reality, VR)과 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 구현을 위한 핵심 기술 아키텍처이자 플랫폼이라고 할 수 있죠.

과거 공대상상 기사에서도 메타버스를 중점으로 유사한 내용을 소개한 적이 있습니다.¹ 하지만 애플에서 다룬 XR은 사뭇 다릅니다. XR은 AR, VR, MR과 같이 디지털 디바이스를 이용해 현실과 디지털 세계를 이어주는 기술을 망라합니다. 기존에 소개해 드렸던 메타버스의 경우에는 실제와 유사하지만 모든 것이 가상으로 구현되어 있으며, 이를 사람의 오감으로 체감합니다. 하지만 이번에 애플에서 발표한 XR 기술은 현실과 가상을 매우 자연스럽게 이어주는 기술이며, 제조, 교육, 의료, 심지어는 문화 분야를 비롯하여 실생활에 더욱 큰 활용이 될 수 있는 것이죠.

그렇다면 현재 발전하고 있는 XR 기기들에 사용되는 기술들은 무엇이 있을까요? 수많은 첨단 소프트웨어 및 하드웨어가 융합된 디바이스이기 때문에 굉장히 많은 원리가 담겨있지만, 저희 기사에서는 핵심으로 대두되는 세 가지 기술을 중점으로 다뤄보도록 하겠습니다. 바로 위치 추적(Positional Tracking), 동작 인식(Gesture Recognition), 포비티드 렌더링(Foveated Rendering)입니다.

Positional Tracking

첫째로 사용자의 위치와 움직임을 실시간으로 감지하여 현실과 가상 세계를 일치시키는 기술이 있습니다. XR 기기를 사용할 때의 불편한 점으로 가장 많이 언급되는 것이 바로 멀미입니다. 사용자의 실제 위치와 이에 따른 시야각에 맞는 환경을 기기가 제공해 주지 못할 시, 현실과의 괴리감으로 인한 멀미가 발생하고 사용감이 크게 떨어지게 되지요. 위치 추적 기술은 XR 기기가 사용자의 움직임을 인식하고, 이를 바탕으로 가상 세계의 시각과 위치를 조정함으로써 사용자가 XR에 몰입할 수 있도록 하는 핵심 기술이라고 할 수 있습니다.

그럼, 사용자의 위치는 어떻게 인식할까요? XR 기기에는 다양한 센서가 장착되어 있는데요, 주로 사용되는 센서로는 가속도계, 자이로스코프, 지자기계, 그리고 깊이 센서 등이 있습니다. 가속도계는 가속도, 자이로스코프는 회전 속도, 지자기계는 방위 정보를 제공합니다. 이렇게 얻은 데이터를 조합하여 사용자의 위치와 방향 변화를 추정합니다.

XR 기기의 사양을 자세히 살펴보면 3DoF 또는 6Dof라는 표현을 확인할 수 있습니다. 이때 DoF란 자유도(Degree of Freedom) 개념을 의미합니다. 자유도란, 어떤 물체의 운동을 설명하기 위해 필요한 변수의 개수로 정의됩니다. 즉, 3DoF는 이 물체의 운동에 필요한 변수가 3개, 6DoF는 6개가 되는 것이죠.

3DoF는 사용자의 기기를 3차원 좌표계 위의 원점인 (0, 0, 0)에 고정하여 세상을 인지합니다. XR 기기 사용자의 시선이 돌아간다면, 이에 따라서 사용자가 경험하고 있는 세상도 회전하게 되겠죠. 즉, 사용자의 위치에 따른 세상을 3차원으로 나타낼 수는 있지만, 사용자의 움직임을 인지하지는 못합니다. 이는 몰입감이 떨어지는 결과를 초래합니다. 6DoF는 사용자의 움직임 역시 인지합니다. 3DoF에 앞뒤, 좌우, 위아래의 병진 동작을 포함한 것입니다. 즉, 현실 세계에 더욱 가까운 세상을 만들어 낼 수 있습니다.

Gesture Recognition

두 번째로 사용자의 손동작에서 비롯한 터치, 스크롤 등의 행동들을 감지하는 기술을 소개하겠습니다. 이를 통해 사용자는 자연스러운 동작으로 가상 세계와 상호작용하고, XR 기기 내부 앱을 조작합니다. XR 기기 내에서 인터페이스를 다룰 때, 더욱더 직관적으로 표현할 수 있게 하는 기술이죠.

XR 기기는 기본적으로 기계 학습 알고리즘을 사용하여 사용자의 동작 데이터를 학습합니다. 사용자가 특정 동작을 수행할 때의 데이터를 센서를 통해 수집한 후, 이를 기반으로 기계 학습 모델을 훈련시킵니다. 학습된 모델은 새로운 동작을 인식하고 해당 동작에 대응하는 동작 또는 명령을 수행합니다. 이후, XR 기기 외부 방향의 카메라를 통하여 사용자의 동작 패턴을 인식한 후, 그중 의미 있는 동작을 선별하여 기기에 반영합니다. 예를 들어, 손가락으로 화면을 터치하거나, 손의 움직임으로 가상 객체를 선택하는 동작 등을 인식하여 해당 동작에 맞는 기능을 실행할 수 있습니다.

위에서 언급하였듯이, 실시간으로 동작을 인식하고 그에 맞는 빠른 반응을 제공하지 않으면, 멀미에 의해서 사용감이 하락하겠죠. 따라서 정확하고 빠른 처리를 위해 최적화된 알고리즘과 하드웨어를 사용하는 것이 중요합니다.

Foveated Rendering

마지막으로 소개할 포비티드 렌더링은 XR 기기에서 그래픽 처리를 최적화하는 기술입니다. 사용자의 시선이 집중된 영역은 높은 해상도의 이미지를, 주변 영역에는 낮은 해상도의 이미지를 제공하여 그래픽 성능을 향상하죠. 공간 컴퓨팅이라는 이름처럼 사용자의 시야가 닿는 모든 곳이 디스플레이가 되는 만큼, 사용자의 시선에 따라 화질에 차이를 둠으로써 최적화하는 것입니다.

이를 위해 XR 기기는 눈의 움직임을 추적하고, 사용자의 시선이 어디에 집중되어 있는지 실시간으로 감지합니다. 이후 해상도가 높은 곳부터 순위를 매겨 계층화합니다. 이후 사용자의 시선 중심 영역은 높은 해상도 이미지로 렌더링하고, 주변 영역은 낮은 해상도 이미지로 렌더링합니다. 이렇게 하면 전력을 효율적으로 사용할 수 있어 기기의 하드웨어 및 소프트웨어의 과부하도 막을 수 있답니다!

마지막 작업은 평탄화(smoothing)로, 해상도 차이로 인한 경계를 부드럽게 처리하는 과정입니다. 시각적으로 이질감이 느껴지는 것을 최소화함으로써 사용자는 화면을 이동하거나 물체를 추적하는 과정에서 뚜렷한 그래픽 전환을 체감하지 않고 자연스럽게 물체를 인지할 수 있습니다.

위에서 설명한 핵심 기술들뿐만 아니라 여러 기술들을 통해 XR 기기는 다양한 센서들을 통해 데이터를 수집하고, 소프트웨어적 처리를 통해 최적의 인터페이스 환경을 제공합니다. 우리가 평소에 상상하거나, 영화 속에서만 보던 스마트 글라스를 실현하기까지는 아직 많은 과제가 남아 있습니다. 하지만 애플 비전 프로의 발표는 ‘기대 이상의 새로운 경험‘이라는 매우 긍정적인 평가를 받고 있죠. 이처럼 현재 XR 기기 산업은 놀라운 속도로 성장하고 있고, 이미 우리의 일상에 큰 변화를 가져오고 있습니다. 이 기사가 여러분과 미래의 XR 기기를 이어주는 징검다리가 되길 바라며 마치도록 하겠습니다!