아침에 일어나 붐비는 출근길 대신 가상 세계로 출근하여 업무를 처리하고 팀원들과 소통합니다. 퇴근 후에는 가상 세계에 구현된 편의점에 들러 필요한 물건을 구매합니다. 이렇듯 과거에는 먼 미래의 일로만 느껴졌던 가상 세계에서의 생활이 우리에게 가깝게 다가왔습니다. 최근 여러 기업들이 물리적 공간으로 직접 출근하는 대신, 가상의 오피스에 아바타를 통해 출근하는 형태를 늘려가고 있는데요. 놀랍게도 이러한 가상 세계 속에는 편의점, 은행과 같이 우리 일상 생활에 밀접하게 맞닿아있는 영역뿐 아니라 미술관, 콘서트 홀과 같은 문화시설까지도 모두 구현되어 있습니다. 이처럼 현실을 기반으로 한 가상의 세계에서 업무, 학습, 금융활동, 여가생활 등의 모든 활동을 할 수 있도록 하는 시스템을 ‘메타버스(metaverse)’라 합니다. 아마 공상 독자 여러분들에게도 익숙한 이름일 텐데요, 이번 기사에서는 메타버스를 위한 확장현실(XR, extended reality)이 무엇인지, 개념과 기반 기술에 대해 알아보겠습니다!
그림 1. 메타버스 플랫폼 ‘제페토(ZEPETO)’에 개업한 ‘CU제페토한강점’ (출처 : BGF리테일, http://www.bgfretail.com/)
그림 2. 가상의 업무 공간에서 아바타로 회의를 진행하는 모습 (출처 : meta, https://about.facebook.com/ko/meta/)
확장현실이란?
확장현실이란 가상현실(VR, Virtual Reality)과 증강현실(AR, Augmented Reality), 혼합현실(MR, Mixed Reality) 등 현실을 가상으로 구현하는 모든 기술을 통칭하는 개념입니다. 가상현실은 아마 ‘오큘러스(Oculus)’의 VR 게임 장비 등을 통해 많이 접해보셨을 텐데요. 3D 가상 공간에서 사용자의 움직임을 묘사하며 상호작용을 이루는 기술로서, 이 상호작용이 사용자에게 이질적으로 느껴지지 않도록 인체의 오감을 묘사하고, 몰입감과 현실감을 제공하는 기술을 의미합니다. 반면 전세계에서 인기를 끌었던 ‘포켓몬 GO’와 같이 실제 현실에 가상의 그래픽을 덧입히는 기술은 증강현실이라 합니다. 흔히 사용하는 스마트폰 사진 촬영 어플리케이션의 귀여운 필터 역시 증강현실의 예시입니다. 혼합현실은 VR과 AR을 융합하여 가상현실의 이질감과 증강현실의 낮은 몰입도를 극복한 기술입니다. 현실 공간을 바탕으로 가상의 공간을 디자인하여 현실과 가상의 괴리는 줄이되 사용자가 더욱 몰입할 수 있도록 한 것이죠.
확장현실이란 가상현실(VR, Virtual Reality)과 증강현실(AR, Augmented Reality), 혼합현실(MR, Mixed Reality) 등 현실을 가상으로 구현하는 모든 기술을 통칭하는 개념입니다. 가상현실은 아마 ‘오큘러스(Oculus)’의 VR 게임 장비 등을 통해 많이 접해보셨을 텐데요. 3D 가상 공간에서 사용자의 움직임을 묘사하며 상호작용을 이루는 기술로서, 이 상호작용이 사용자에게 이질적으로 느껴지지 않도록 인체의 오감을 묘사하고, 몰입감과 현실감을 제공하는 기술을 의미합니다. 반면 전세계에서 인기를 끌었던 ‘포켓몬 GO’와 같이 실제 현실에 가상의 그래픽을 덧입히는 기술은 증강현실이라 합니다. 흔히 사용하는 스마트폰 사진 촬영 어플리케이션의 귀여운 필터 역시 증강현실의 예시입니다. 혼합현실은 VR과 AR을 융합하여 가상현실의 이질감과 증강현실의 낮은 몰입도를 극복한 기술입니다. 현실 공간을 바탕으로 가상의 공간을 디자인하여 현실과 가상의 괴리는 줄이되 사용자가 더욱 몰입할 수 있도록 한 것이죠.
-
그림 3. ‘오큘러스 퀘스트2’ 제품으로 VR 게임을 즐기는 모습 (출처 : SKT, https://www.sktelecom.com/index.html) -
그림 4. 혼합현실을 통해 부품을 조립하는 모습 (출처 : Magic Leap, https://www.magicleap.com/en-us)
확장현실에 필요한 기술1) HMD
VR 게임방이나 체험관에 가 보셨거나, VR 기기에 관심이 있다면, 머리에 고정해 고글처럼 착용하는 VR 기기를 본 적 있으실 텐데요. 이러한 디스플레이를 ‘두부 장착형 디스플레이(Head-mounted Display)’, 즉 HMD라 한답니다. 확장현실에서는 HMD와 같은 기기를 통해 사용자의 시야를 묘사하여 가상현실 혹은 증강현실을 구현합니다. 그렇다면 HMD의 원리는 무엇일까요?
그림 5. HMD의 내부 구조도와 대략적인 원리 (출처: SK Hynix newsroom, https://news.skhynix.com/)
확장현실을 구현하기 위해, HMD는 그림 5와 같이 눈과 디스플레이 사이에 있는 렌즈를 통해 사용자가 디스플레이의 영상을 편안히 볼 수 있는 위치에 가상의 영상을 만듭니다. 이 원리를 이해하기 위해서는 얇은 렌즈에 대한 렌즈 방정식을 이해해야 합니다. 그림 6은 HMD에서 가상의 상이 맺히는 모식도와 렌즈 방정식을 나타내는데요, 렌즈와 디스플레이 사이의 거리 d보다 살짝 큰 초점거리 f를 가지는 렌즈를 이용하여, 디스플레이와 같은 방향으로 l만큼 떨어진 곳에 m배만큼 확대된 상을 만들 수 있습니다.
그림 6. HMD에서 가상의 상을 만드는 원리와 얇은 렌즈에 대한 렌즈 방정식(출처 : 염지운, and 최광순. "AR/VR HMD 에서의 입체 표현 기술 최근 연구 동향." 한국통신학회지 (정보와통신) 36.10 (2019): 3-9.)
확장현실에 필요한 기술2) 뎁스카메라
다음으로 필요한 것은 뎁스카메라 입니다. 증강현실은 가상현실과 달리 완전히 새로운 영상을 만드는 것이 아니라 실제 현실 위에 새로운 이미지나 영상을 덧씌워야 합니다. 덧씌워진 정보가 사용자에게 어색하지 않기 위해서는 주변 환경에 잘 녹아들 필요가 있습니다. 이에 필요한 기술이 바로 뎁스 카메라(Depth Camera) 인데요. 뎁스 카메라는 카메라와 사물 사이의 거리를 측정하여 가상의 영상이 사용자에게 자연스럽게 위치하게 되도록 도와주는 기술로서, 거리를 측정하는 방식에 따라 여러 종류로 나뉩니다. 그 중 증강현실 기술에 주로 사용되는 방식은 크게 두 가지로, 스테레오(Stereo) 방식과 ToF(Time of Flight) 방식입니다.
우리는 각 눈으로 들어오는 시각 정보의 차이를 이용하여 사물의 원근을 인지합니다. 이를 ‘양안시차’라 하는데요. 스테레오 방식의 뎁스카메라는 이 원리를 이용하여 거리를 측정합니다. 양안시차를 이용하면 그림 7과 같이 초점거리와 기준선, 피사체의 거리와 카메라 위치의 비율을 이용하여 피사체와 카메라의 거리를 측정할 수 있습니다. 스테레오 카메라는 후술할 ToF 방식에 비해 실외 사용이 유리한 장점이 있습니다. 하지만 이 방식은 피사체와 배경 사이의 비균일성이나 피사체의 뚜렷한 세부 특징이 존재할 때 유리합니다. 만약 배경과 피사체를 구분하기 힘들다면, 피사체의 정확한 포착이 힘들게 되고, 따라서 심도 측정에 제한이 있을 수 있습니다.
다음으로 필요한 것은 뎁스카메라 입니다. 증강현실은 가상현실과 달리 완전히 새로운 영상을 만드는 것이 아니라 실제 현실 위에 새로운 이미지나 영상을 덧씌워야 합니다. 덧씌워진 정보가 사용자에게 어색하지 않기 위해서는 주변 환경에 잘 녹아들 필요가 있습니다. 이에 필요한 기술이 바로 뎁스 카메라(Depth Camera) 인데요. 뎁스 카메라는 카메라와 사물 사이의 거리를 측정하여 가상의 영상이 사용자에게 자연스럽게 위치하게 되도록 도와주는 기술로서, 거리를 측정하는 방식에 따라 여러 종류로 나뉩니다. 그 중 증강현실 기술에 주로 사용되는 방식은 크게 두 가지로, 스테레오(Stereo) 방식과 ToF(Time of Flight) 방식입니다.
우리는 각 눈으로 들어오는 시각 정보의 차이를 이용하여 사물의 원근을 인지합니다. 이를 ‘양안시차’라 하는데요. 스테레오 방식의 뎁스카메라는 이 원리를 이용하여 거리를 측정합니다. 양안시차를 이용하면 그림 7과 같이 초점거리와 기준선, 피사체의 거리와 카메라 위치의 비율을 이용하여 피사체와 카메라의 거리를 측정할 수 있습니다. 스테레오 카메라는 후술할 ToF 방식에 비해 실외 사용이 유리한 장점이 있습니다. 하지만 이 방식은 피사체와 배경 사이의 비균일성이나 피사체의 뚜렷한 세부 특징이 존재할 때 유리합니다. 만약 배경과 피사체를 구분하기 힘들다면, 피사체의 정확한 포착이 힘들게 되고, 따라서 심도 측정에 제한이 있을 수 있습니다.
그림 7. 스테레오 방식 뎁스카메라의 원리(출처 : 염지운, and 최광순. "AR/VR HMD 에서의 입체 표현 기술 최근 연구 동향." 한국통신학회지 (정보와통신) 36.10 (2019): 3-9.)
ToF 방식의 뎁스카메라는 적외선과 같은 빛 신호(Pulse)를 주기적으로 방출하여 대상의 거리와 모양을 포착합니다. 그림 8과 같이 빛 신호가 피사체에서 반사되어 돌아오는데 걸리는 시간을 이용하여 거리를 측정하는 것입니다. ToF는 간단한 방법으로 사물의 거리를 정확하게 측정할 수 있다는 장점이 있지만, 빛이나 외부 신호와 같은 노이즈에 매우 취약하기 때문에 야외에서 사용하기 힘들고, 실내에서만 사용할 수 있다는 단점이 있습니다.
그림 8. ToF(Time of Flight) 방식의 뎁스카메라 원리(출처 : Remondino, Fabio, and David Stoppa, eds. TOF range-imaging cameras. Vol. 68121. Heidelberg, Germany: Springer, 2013.)
확장현실을 위한 기술은 이 밖에도 많습니다. 좀 더 실감나는 경험을 사용자에게 주기 위해 자세와 동작을 측정하는 가속도 센서와 자이로 센서, 시각 뿐만 아니라 촉각적인 반응을 통해 사용자의 몰입을 높이는 햅틱(haptic) 기능 등 다양한 기술이 이용됩니다. 또한, 조금 더 얇고 가벼운 HMD를 위해 반사 편광 기술을 이용한 ‘Pancake Lens’, 스테레오 카메라 방식과 ToF 방식을 혼합하여 서로의 단점을 상호 보완하는 뎁스카메라 등 더욱 현실감 있는 확장현실을 위해 새로운 기술들이 등장하고 있습니다. 확장현실은 더 이상 먼 미래의 것이 아닙니다. 이미 일상생활을 넘어 산업, 교육 등 다양한 분야에 적용되어 업무의 효율을 높이고 있습니다. 공상 독자 여러분도 다가올 확장현실 속에서의 일상이 기대되지 않나요?
그림 9. 마이크로소프트 사의 ‘홀로렌즈2’ 시연 사진 (출처 : 마이크로소프트, https://www.microsoft.com/ko-kr/hololens)
- 출처
-
- WRemondino, Fabio, and David Stoppa, eds. TOF range-imaging cameras. Vol. 68121. Heidelberg, Germany:: Springer, 2013.
- 염지운, and 최광순. “AR/VR HMD 에서의 입체 표현 기술 최근 연구 동향.” 한국통신학회지 (정보와통신) 36.10 (2019): 3-9.
- Jeon, Hyeong-Jun, et al. "깊이 정보를 이용한 영상 합성 기법." Broadcasting and Media Magazine 18.4 (2013): 22-33.
- 삼성전자 뉴스룸, https://news.samsung.com/kr/
- SK hynix 뉴스룸, https://news.skhynix.co.kr/