지금 우리 연구실은

더 자연스럽고 다양한 움직임을 위해,
지능형 동작 연구실

글. 건설환경공학부 1 이찬서, 화학생물공학부 1 이태윤 편집. 전기정보공학부 3 김채원
그림1 <쿵푸팬더 4>의 한 장면
최근 흥행을 이끄는 애니메이션 영화, <쿵푸팬더 4>, 다들 보셨나요? 쿵푸팬더 속 다양한 캐릭터가 마치 사람처럼 자연스럽게 움직일 수 있는 이유가 무엇일까요? 이 질문에 대한 정답은, 바로 '지능형 동작'에 있습니다. 영화 속에서는 주인공 '포'가 적을 폭죽으로 날리거나 운 좋게 적을 함정에 빠트리는 등 우스꽝스러운 모습으로 적을 해치우는 모습을 볼 수 있습니다. 멋있는 전통 쿵푸를 하며 적을 해치우는 동료와는 다르지요. 이런 유쾌함이 전 세계의 많은 어린이에게 재미를 선사해주었는데요, 그렇다면 이런 '포'의 특이한 싸움 방식은 어떻게 탄생한 것일까요? 지금부터 알아보도록 합시다!

우리가 영화나 게임에 더욱 몰입할 수 있게 해주는, 캐릭터나 사물들의 자연스러운 동작은 모두 컴퓨터 프로그래밍을 바탕으로 한 시뮬레이션에서 비롯된 것입니다. <배틀그라운드>, <사이버펑크>와 같은 정말 사실적인 게임들에서, 어떻게 실제 인간처럼 움직이는 캐릭터들이 등장할 수 있는 것일까요? 언뜻 보기에는 단순히 실제 인간의 동작을 본뜨기만 하면 될 것 같지만, 사실 그 속에는 더 깊은 컴퓨터과학적 원리가 숨어 있답니다.

그림2 지능형 동작의 구현

'모션 캡처'라는 말, 많이 들어보셨죠? 센서가 부착된 검은 옷을 입고 카메라 앞에서 움직이면, 컴퓨터가 해당 동작을 디지털로 기록하는 방식이지요. 모션캡처 외에 적외선을 이용하는 방법도 있습니다. 그런데 이 모션 캡처가, 사실은 넓디넓은 지능형 동작 연구의 한 분야라는 것, 알고 계셨나요? 그럼 지금부터 본격적으로 지능형 동작 연구실에서 무엇을 연구하는지 알아보도록 합시다!

흔히 CG라고 불리는 컴퓨터 그래픽스는, 실제 세계에서의 영상을 조작하거나 새로운 영상을 만들어내는 기술을 말합니다. 실생활에서 구현할 수 없는 다양한 현상을 시뮬레이션으로 구현함으로써 그 결과를 예측하고 판단할 수 있다는 점에서, 큰 화제를 불러오고 있는 컴퓨터 과학의 연구 분야 중 하나이죠. 그럼 우리 주변의 현실 세계와 컴퓨터 속 디지털 세계를 이어주는 분야는 무엇일까요? 바로 지능형 동작 연구랍니다. 지능형 동작이란, 사람이나 동물, 로봇의 동작을 관찰하고 이해하는 방법을 탐구하고, 이를 바탕으로 자연스럽고 다양한 동작을 생성할 수 있는 방법적 연구를 총칭합니다. 간단히 설명하자면, 특정 대상의 움직임을 디지털로 기록하는 작업이라고 볼 수 있습니다.

서울대학교의 원정담 교수님이 이끌고 계신 '지능형 동작 연구실'에서 연구하는 주제들도 모두 위와 관련되어 있습니다. 세부적으로는, 각종 2D, 3D 애니메이션에서 이용될 수 있는 인공지능 기반 캐릭터 애니메이션 연구, 물리 시뮬레이션에 기반한 동작 생성, VR/AR을 위한 동작 생성, 인체 모델링, 로봇 시뮬레이션 및 제어와 같은 주제들이 있습니다. 즉, 우리가 하는 동작들을 직접 구현함으로써, 우리 사회에 다양한 기술 발전을 가져오고 사회 기여를 할 수 있도록 연구가 진행되고 있습니다.

그림3 원정담 교수님 연구진, 'NeurIPS MyoChallenge 2023' locomotion track 1위 기록

미국의 회사 'Intuitive'에서 제작한 의료 수술용 로봇, 다빈치에 대해 들어보셨나요?1) 다빈치는 인간의 손으로는 한계가 있는 외과 수술을 더욱 정밀하게 할 수 있도록 도와주는 로봇입니다. 이처럼, 인간이 겪는 질병이 다양화됨에 따라, 의료산업 또한 그에 비례해서 비약적인 속도로 발전하고 있습니다. 그렇다면, 지능형 동작이 의료 산업에까지 적용될 수 있다면 믿으시겠나요? 놀랍게도 지능형 동작은 의료 산업에 큰 도움을 줄 수 있는 분야랍니다! 지능형 동작을 통해 사람의 신체 구조를 직접 모델링하여 실제 수술이 어떻게 진행될지 미리 시뮬레이션할 수 있게 것이죠. 이런 방법이 널리 적용될 수 있다면, 현재 윤리적 비판이 이어지고 있는 동물이나 인간을 대상으로 하는 임상시험이나, 성공 가능성이 현저히 낮은 수술들의 결과를 예측하고 추후 발생할 수 있는 2차 질환이나 부작용을 방지할 수 있게 될 것입니다. 정말 대단하지 않은가요? 이처럼, 지능형 동작 연구는 컴퓨터상에서의 3D 동작 구현에 그치는 것이 아니라, 직접적으로 우리 생활에 이로움을 줄 수 있는 미래 사회의 중요한 주제로 작용합니다.

이제 쿵푸팬더 속 모션 캡처의 원리가 궁금하지 않으신가요? 어떻게 시뮬레이션이 의료기술에 이용될 수 있으며, 앞으로는 사회에서 어떤 역할을 하게 될까요? 이러한 독자 여러분의 다양한 궁금증을 풀어드리기 위해, 저희가 서울대학교 컴퓨터공학부 지능형 동작 연구실의 원정담 교수님과 인터뷰를 진행했습니다!

원정담 교수님과 인터뷰

그림4 원정담 교수님
Q. 교수님께서 지능형 동작을 연구 분야로 선택하신 이유가 무엇인가요?
A.

일단 기본적으로 저희 연구실의 기반이 되는 분야는 컴퓨터 그래픽스예요. 컴퓨터 그래픽스 중에서 지능형 동작 연구실은 컴퓨터 애니메이션 분야에서 출발해요. 컴퓨터 애니메이션이라는 것은 사람의 동작을 잘 이해하고 분석해서 일상생활, 특히 게임이나 영화에서 그 동작을 재현하는 것입니다.

이러한 메커니즘은 컴퓨터 애니메이션뿐만 아니라 의료나 스포츠 과학과 같은 분야에도 적용될 수 있어요. 예를 들어, 보행에 문제가 있는 사람들의 치료 과정에서 같은 기술을 적용할 수 있고, 휴머노이드 로봇의 동작을 만들어낼 때도 적용할 수 있다는 것이죠. 그래서 사람 혹은 동물의 동작을 분석하고 생성하는, 그리고 더 나아가 예측까지 하는 연구실을 만들고 싶어서 지능형 동작 연구실을 만들게 되었습니다.

Q. 연구 분야 중 가장 관심을 가지고 연구하시는 분야는 어떤 것인가요?
A.

기본적으로 연구하고 있는 모든 분야에 관심이 있긴 한데요.(웃음) 제가 제일 하고 싶은 것은 어떤 특정한 분야라기보다는 단순히 지적인 발전, 그걸 넘어서 사회적으로 도움이 될 만한 기술을 만드는 것이라는 생각이 들기 시작했어요. 이런 관점에서 해부학적 모델링이 굉장히 의미가 있을 것이라고 생각합니다.

해부학적 모델링은 사람의 뼈와 근육을 움직이는 신경과 뇌의 전기신호에 수학적 모델이나 딥러닝 모델을 적용하는 분야예요. 이런 연구는 사람이 의학적인 수술 후에 어떤 결과가 나올지 시뮬레이션하는 데 쓰일 수 있어요. 지금까지는 아픈 후에나 그 원인을 분석할 수 있었잖아요? 그렇지만 이 연구 분야를 발전시킨다면 보행이 불편한 사람이 수술 후에 걸을 수 있을지, 살아가면서 어떤 어려움을 겪게 될지, 부작용이나 수술 경과는 어떨지 미리 알아볼 수 있어요.

Q. 의료 분야 외에는 어떻게 활용될 수 있을까요?
A.

의료 분야 이외에도 AI 콘텐츠나 안전사고 분야에서도 활용될 수 있을 것이라고 생각해요.

콘텐츠 분야에서는 실제로 많은 사람이 현재 AI를 활용하여 이미지를 생성 중이잖아요. 하지만 아직 정적인 이미지만 생성이 가능하다는 한계점이 있어요. 이런 점에서 지능형 동작 연구를 AI와 결합한다면 한 차원 더 나아가 동적인 물체의 모습(3D 애니메이션)을 생성하는 것도 기대할 수 있어요. 예를 들어 사람들이 글로 시나리오를 작성하면 영화가 자동으로 생성되는 것도 가끔 상상하고 있답니다.

안전사고 분야에서는 요즘 압사 사고 예방을 관심 있게 들여다보고 있어요. 사람들의 동작을 예측해서 특정 공간에서 압사 사고가 발생할지 시뮬레이션해보는 거죠. 지형과 사람 수 등의 조건들을 입력하면 한두 시간 내에 몇 퍼센트 확률로 사고가 일어날지 수치적으로 확인하는 모델링이 가능할 것 같아요. 만약 이런 시스템이 구축된다면, 해당 시스템을 오픈 소스로 풀어서 지자체의 CCTV와 연결하고 자체적으로 관리할 수 있도록 도움을 주고 싶어요.

Q. 교수님의 지능형 동작 연구를 한마디로 쉽게 정의할 수 있을까요?
A.

움직이는 사람(동물)을 보고 '저 사람(동물)은 왜 저렇게 움직이지? 그다음에 저 사람(동물)은 어떻게 움직일까?'를 생각해 보는 것이라고 얘기할 수 있을 것 같아요. 그 과정에서 나름의 과학적인 사고로 생각을 해보고, 그 과학적 사고 과정에서 컴퓨터 기술들을 활용한다고 생각하면 될 것 같아요.

Q. 연구를 하시면서 뿌듯했던 경험이 있으신가요?
A.

아직까지 연구가 오래 진행된 것은 아니기 때문에 아직 사회적으로 도움을 주어 얻은 뿌듯함까지는 경험하지 못했어요.(웃음) 연구실을 운영하면서 경험하는 뿌듯함은 학생들이 발전해 나가는 것을 볼 때 가장 많이 느끼는 것 같아요. 처음 이 분야에 관해 잘 모르는 학생들이 대학원에 입학하고 연구실에 들어와서 논문을 읽으며 1년, 2년 지내다가 저랑 얘기가 통하기 시작할 때 기분이 좋아요. 그렇게 얘기를 하다 보면 어떤 특정한 문제를 잘 파악하여 대답하고, 때로는 저보다 더 깊이 생각하는 것이 보일 때 교수로서 생활하는 게 괜찮다는 생각이 들어요.

Q. 마지막으로 공학 분야를 연구하는 혹은 연구하게 될 많은 학생에게 한마디 부탁드립니다!
A.

두 가지 부분에서 밸런스를 잘 잡으라고 말하고 싶네요. 우선 첫 번째는 유행에 휩쓸리지 않고 장기적으로 보았을 때, 자신이 연구하면서 행복을 느낄 수 있는 것을 잘 생각하고 찾아 나가라고 얘기해 주고 싶어요. 그리고 두 번째는 유행하는 것을 공부하는 것도 필요하다고 생각한다는 점이에요.

예를 들어 지금 AI가 떠오르는 연구 주제라고 해서 자신도 AI를 연구하지 않으면 안 될 것처럼 떠밀려가는 것은 좋지 않아요. 자기가 진짜 연구하고 싶은 분야를 찾는 것이 먼저라고 생각합니다. 그렇지만 남들과 소통할 수 있을 만큼은 유행하는 것을 공부해야 해요. 연구라는 것이 다른 사람들과 이야기하면서 더욱 발전할 수 있는 것이기 때문에 어떤 주제가 와도 남들과 간단히 이야기를 나눌 수 있을 만큼의 지식은 가질 수 있도록 꾸준히 공부하는 것이 바람직하다고 얘기하고 싶어요.

주석
  • 1) 복강경 수술 로봇인 다빈치 로봇은 환자의 몸에 몇 개의 작은 구멍을 뚫고 구멍으로 수술용 카메라와 로봇 팔을 넣어 수술합니다. 기존의 복강경 수술과 비교해 입원 기간이 짧고 수술 후 흉터가 거의 없으며, 수술 후 통증이 매우 적어 회복 속도가 빨라 현재 많은 각광을 받고 있습니다.

그림 출처
공대상상 이벤트 참여하기