"I'm on the next level~
절대적 룰을 지켜
내 손을 놓지 말아
결속은 나의 무기
광야로 걸어가~"

2021년 대한민국을 뒤흔든 후렴구, 기억하시나요? 바로 SM엔터테인먼트의 걸그룹 에스파(aespa)의 'Next Level'입니다. 에스파는 데뷔부터 현실 세계의 멤버들과 가상의 아바타 멤버들이 소통한다는 독특한 세계관으로 많은 주목을 받았는데요. 특히나 사람들의 눈길을 끈 것은 가상 세계에 존재하는 에스파의 아바타 멤버들, 아이-에스파(ae-aespa)가 정말 생생하게 춤추고 노래하는 모습이었습니다. 아바타 멤버들이 실제 멤버들과 함께 어색함 없이 춤을 추는 모습은 어떤 원리로 만들어낸 것일까요? 이것이 가능한 이유는 ‘모션캡처’를 이용해 멤버들의 안무를 그대로 가져왔기 때문입니다.

연예계에서 모션 캡처 기술을 응용하는 그룹은 에스파만이 아닙니다. 최근에는 걸그룹 ITZY의 아바타가 제페토 상에서 온라인 팬 미팅을 진행하여 화제가 되기도 했는데요. 제페토는 3D 아바타를 기반으로 한 가상 세계 플랫폼인데, 사용자마다 가상 캐릭터를 만들어 서로 소통할 수 있는 특징이 있어 차세대 메타버스 플랫폼으로 주목받고 있습니다. 가상 공간에서 연예인들과 실제로 소통할 수 있다니 신기하지 않나요?

ITZY의 아바타는 ‘Not Shy’의 안무를 추며 팬들 앞에서 공연하였는데, 이때 아바타의 모습은 안무에 맞게 컴퓨터 그래픽을 제작해 아바타를 움직이게 한 것이 아니라 실제 멤버들이 춘 안무를 그대로 옮겨온 것이기에 새롭게 다가왔습니다.

모션캡처 기술에는 광학식, 전자기식, 관성식 기술을 대표적으로 꼽을 수 있는데요, 그중에서도 먼저 광학식 모션캡처 기술에 관해 알아볼까요?

광학식 모션캡처 기술은 비디오 카메라와 연기자의 몸에 부착된 마커를 이용하는 방식입니다. 아래 그림과 같이 센서가 달린 옷을 입고 있는 연기자와 이를 둘러싸고 있는 여러 대의 카메라를 통해 촬영이 이루어지지요. 촬영에 사용되는 비디오 카메라에는 특정한 주파수의 빛만 받아들여 녹화하는 기능이 있는데, 이때 마커의 종류에 따라 이는 다시 '패시브 마커 방식'과 '액티브 마커 방식'으로 나눌 수 있습니다.

먼저 '패시브 마커'는 카메라에서 발사한 빛 중 특정 파장을 반사하는 마커입니다. 빛은 전자기파의 일종이고, 우리가 보는 서로 다른 색의 빛은 사실 다른 파장의 전자기파인데요. 그 중에서도 패시브 마커는 특정 파장, 즉 특정 색의 빛만 반사해서 카메라가 인식하도록 합니다. 이때 패시브 마커는 '재귀 반사'의 원리를 이용합니다.

그림 4에서와 같이 빛의 반사는 입사각과 반사각의 관계에 따라 정반사, 난반사, 재귀 반사로 나눌 수 있는데요. 이중에서도 재귀 반사는 입사각과 같은 방향으로 빛을 반사시키는 것을 말합니다. 빛을 쏜 방향대로 빛이 반사되어 돌아오니, 이를 역으로 계산하면 마커의 위치를 알 수 있겠죠? 이를 위해서 카메라에 다른 파장의 빛이 들어오지 못하도록 마커가 반사한 적외선 파장의 빛만 인식하는 필터를 이용하기도 합니다.

한편 '액티브 마커'는 센서에서 직접 빛을 발산하는 마커입니다. 물론 그냥 빛을 발산하기만 해서는 카메라가 움직임을 정확히 포착할 수 없기 때문에, 이때는 마커에서 서로 다른 파장의 빛을 발산하도록 하여 어떤 마커가 어떻게 움직였는지를 구별할 수 있도록 한답니다.

센서에서 얻은 정보로 움직임을 구현하기 위해서는 카메라로 받은 센서 신호를 위치 정보로 바꾸는 작업이 필요하겠지요? 이때 이용되는 방법은 삼각측량법으로. GPS나 건물의 높이를 측정할 때 쓰이는 방법으로 잘 알려져 있습니다. 이는 고등학교 과정에서 배우는 사인 법칙과 코사인 법칙으로 간단하게 설명할 수 있는데요.

그림 5는 두 카메라와 센서가 삼각형을 이룬 모습입니다. 두 카메라를 A, B, 센서를 C라고 하겠습니다. AB의 길이와 각 A, 각 B, 각 C를 알고 있을 때, C에서 AB까지의 거리를 구해볼까요? C에서 내린 수선의 발을 H라고 하고, 각 A, 각 B, 각 C는 각각 $\alpha, \beta, \gamma$로 두었을 때, CH의 길이를 구하면 되겠지요. 우리에게 주어진 값은 $\alpha, \beta, AB$ 의 길이입니다.

삼각형의 내각의 합이 180°이므로, $\gamma$는 다음과 같이 표현됩니다.
$\gamma=180°-α-β$

사인 법칙에 따르면, 각각의 변과 각 사이의 관계식은 다음과 같습니다.
$\frac{\sin{\alpha}}{BC}=\frac{\sin{\beta}}{AC}=\frac{\sin{\gamma}}{AB}$

위 식을 정리하여 AC, BC의 길이를 우리가 알고 있는 값으로 표현해 봅시다.
$AC=\frac{AB·\sin{\beta}}{\sin{\gamma}},\ BC=\frac{AB·\sin{\alpha}}{\sin{\gamma}}$

따라서 CH의 길이는 아래 식처럼 표현되어 계산할 수 있답니다.
$CH=AC·\sin{\alpha}$ 혹은 $CH=BC·\sin{\beta}$

이 원리를 이용하여 두 대 이상의 카메라로 동일한 센서를 촬영하면 센서의 위치를 3차원 좌표로 알아낼 수 있습니다. 카메라가 두 대만 있어도 계산할 수 있지만, 센서가 카메라로부터 가려지는 경우가 있어 일반적으로 6대 이상의 카메라를 이용한다고 하네요.

이밖에도 자기식 모션캡처 기술과 자이로 센서 방식 등, 다양한 모션 캡처 기술이 사용되고 있습니다.

자기식 모션캡처 기술은 촬영 공간에 자기장을 형성하고, 자기장을 측정할 수 있는 센서들을 몸에 부착해 움직임을 측정하는 기술입니다. 카메라로 위치를 계산하는 광학식 방법과 달리 센서들이 직접 위치와 방향을 계산할 수 있다는 특징이 있지요. 센서를 몸으로 가려도 자기장은 인식된다는 장점이 있지만, 주변에 금속이 포함된 물질이 있다면 신호를 방해할 수 있다는 단점이 있습니다. 따라서 주변에 금속이나 자성체가 없는 곳에서 촬영해야 하고, 센서와 케이블이 연결되어 있다는 점에서 움직임에 제약이 많다고 합니다.

자이로 센서 방식은 자이로 센서와 가속도 센서를 사용하여 각속도를 측정하고, 이를 통해 관절이나 물체가 이동하고 회전한 정도를 계산하여 움직임을 캡처하는 방식입니다. 자이로 센서 방식의 가장 큰 장점은 움직임과 공간의 제약이 적다는 것입니다. 따로 카메라를 이용할 필요가 없고 착용한 센서의 각속도만 얻어내면 되기에 야외에서도 많이 쓰인답니다. 공간의 제약이 적다 보니 장비 착용자의 움직임도 자유로워지겠죠? 따라서 격렬하고 움직임이 큰 장면을 구현할 때 자주 활용된다고 합니다.

이러한 모션 캡처 기술은 미래에 우리의 삶을 가상 세계로 옮겨 줄 수 있다는 점에서 가상 현실(VR, Virtual Reality) 기술과 함께 무궁무진한 가능성을 지닌 기술로 평가받고 있습니다. 지금도 연예계에서뿐만 아니라 영화 산업, 게임 산업 등 다양한 곳에서 활발하게 사용되고 있다고 하니, 머지않아 우리도 직접 모션 캡처 기술을 실생활 속에서 만나볼 수 있을 것 같네요.

지금까지 사람의 움직임을 그대로 재현하는 모션캡처 기술에 대해 알아보았습니다. 이제 아바타가 어디선가 춤을 추고 있거나 사람과 똑같이 움직이고 있다면 오늘 살펴본 모션캡처 기술의 원리를 떠올려 보는 건 어떨까요? 공학과 연예계가 만나는 신선한 조합으로 공학의 매력을 느낄 수 있다면 좋겠습니다!