공대상상(48호)

<인사이드 아웃 2>의 성장 스토리가 우리의 마음을 울리는 것은 단지 귀여운 캐릭터들 때문만은 아닐 것입니다. 실제로 <인사이드 아웃 2>의 제작진은 1편을 제작할 때와 마찬가지로 저명한 심리학자와 10대 소녀들에게 조언을 받아 사춘기 초기 심리 변화를 사실적으로 나타내고자 했다고 합니다. 그런데 사실 뇌에서 일어나는 일들은 인공지능 학습과도 유사한 면이 있다고 하는데요. '라일리'와 공대상상 독자님들의 뇌에 어떤 일이 일어나고 있는지, 이 현상들이 어떻게 인공지능 기술에 도움을 주고 있는지 알아봅시다!

사춘기 뇌는 공사 중

인간을 인간처럼 생각하고 행동하게 하는 것은 뇌입니다. 특히 대부분 동물에 비해 월등히 큰 전전두엽이 고차원적 사고를 가능하게 하죠. 우리 뇌는 주위 자극에 적절히 반응할 수 있도록 끊임없이 자신을 변화시키며 변화하는 주변 환경에 적응해 나갑니다. 이 조율로부터 생긴 행동의 경향성을 우리는 성격이라고 부르기도 하죠. <인사이드 아웃> 시리즈에서도, 감정들이 중요한 기억과 중요하지 않은 기억을 매일 선별해 라일리의 인격을 형성합니다. 뇌는 서로의 신호에 반응하는 뇌세포로 이루어져 있으며, 뇌세포들이 시냅스를 통해 이루는 연결은 시간에 따라 변화합니다. 영화에서는 시냅스의 연결로 저장된 정보를 기억 구슬이 보관된 저장소로 묘사하고, 기억이 희미해져 버려진다는 것으로 시냅스 연결이 사라지는 것을 표현하죠.

태어나면서부터 어린이 시기까지 뇌는 주변 세상에 대한 정보를 최대한 많이 모아 시냅스 연결을 늘려 나갑니다. 그러나 청소년기에 접어들면 이 양상이 조금 달라집니다. 이미 쌓인 정보와 새로 주어지는 정보를 토대로, 필요한 시냅스 연결만 유지하고 나머지는 쳐내는 대공사가 이루어지죠. 영화 속에서도 감정 본부에서 추방당한 기쁨이가 '저편'으로 친구들을 안내하려다 길을 잃거나, 기억 저장소 곳곳이 크레인으로 공사 중인 모습을 볼 수 있습니다.

이 정보량의 변화는 뇌와 신경세포의 구조, 그리고 실제 관찰 결과로 뒷받침됩니다. 신경세포에는 그림과 같이 다른 신경세포에서 오는 신호를 수용하는 가지돌기와 신호를 보내는 축삭돌기가 있습니다. 뇌 속에서는 각 뇌세포의 가지돌기와 신경세포체가 표면에 모여 회색의 회백질을 이루고, 안쪽으로 뻗은 축삭돌기들이 흰색 백질을 이룹니다. 청소년이 성장함에 따라 뇌를 촬영하여 시간을 두고 관찰하면, 대뇌 피질에서 회백질의 두께가 감소하고 백질의 부피는 상대적으로 커지는 모습을 볼 수 있습니다. 신경세포들이 필요한 정보만 받을 수 있도록 시냅스 연결을 줄이고 있다는 뜻이죠.

더 가볍게, 더 빠르게 - 인공신경망의 가지치기

인간이 주변 환경에 반응하고, 언어로 소통하고 생각하는 과정이 뇌세포 간 오가는 전기 신호에서 비롯된다는 것이 밝혀진 후, 인간은 뇌의 구조를 모방하여 생각하는 기계를 만드는 데 도전했습니다. 그 결과물이 독자 여러분도 한번쯤 들어 보셨을 인공신경망입니다. 감각 뉴런이 중간 뉴런으로 외부 정보를 전달하고 중간 뉴런들이 보낸 신호를 운동 뉴런이 받아 반응하는 과정을 모방하여, 서로 숫자로 신호를 전달하는 노드들이 입력층, 은닉층, 출력층 순서로 정보를 전달하여 입력에 대한 출력을 내놓죠. 노드 간의 연결에는 가중치가 부여되어 있어서, 연관성이 높은 노드 간의 연결에 큰 가중치가 부여됩니다. 이를 매개변수(parameter)라고도 부르죠.

인간의 뇌는 약 1,000억 개에 달하는 뉴런으로 이루어져 있습니다. 인간과 같은, 혹은 인간보다 더 똑똑한 인공신경망을 만들기 위해 현대의 인공신경망 모델들은 수십억 개 단위의 매개변수를 갖고 있죠. 그러나 매개변수를 많이 집어넣는 것만으로는 좋은 인공신경망을 만들 수 없습니다.

먼저 시간적/물적 자원의 문제입니다. 인공신경망에 매개변수가 많아질수록, 입력이 들어왔을 때 연산해야 하는 횟수와, 연산 중 저장해 두어야 하는 정보량이 늘어납니다. 대화 형식의 AI라서 빠르게 결과를 도출해야 하거나, 휴대폰에서 실행하기 때문에 사용 가능한 메모리에 한계가 있다면 너무 많은 매개변수는 오히려 독입니다.

두 번째는 머신 러닝 관련 분야에서 중요한 과적합 문제입니다. 인공신경망 모델을 학습시킬 때 모든 가능한 입력을 고려하는 것은 실제로 불가능하고, 학습 정보로 새로운 입력에 대한 답을 찾는다는 취지에도 맞지 않으므로 정해진 학습 데이터만을 사용합니다. 그러나 이때 인공신경망이 자신에게 주어진 학습 데이터에만 너무 최적화되어 새로운 입력에 적절한 출력을 내놓을 수 없을 위험이 생기는데, 이를 과적합이라고 합니다. 교과서 연습 문제와 기출 문제만 달달 외워 응용 문제는 풀 수 없는 상황과 비슷하죠.

자원 부족 문제와 과적합 문제의 해결책이 될 수 있는 것이 인공신경망의 가지치기입니다. 먼저 인공신경망을 학습시키고, 결과로 나온 매개변수나 노드 중 영향이 미미해 필요 없는 것을 아예 없애 버리는 것입니다. 가지치기를 적용하면 연산 시간과 필요 메모리도 줄어들 뿐만 아니라 학습 데이터의 우연적인 상관관계를 반영한 매개변수가 사라져 과적합 현상 발생도 줄일 수 있습니다. 최근에는 인공신경망에서 성능에 큰 변화를 주지 않고 모든 매개변수를 -1과 1 두 가지 값으로 바꾸는 연구도 등장했습니다. 매개변수가 연속적인 값을 가질 수 있는 초기 모델에서 0에 가까운 매개변수를 쳐낸다는 가지치기 아이디어를 발전시켜, 모든 매개변수를 단순화하여 연산 시간과 메모리 사용을 극한으로 압축하는 것이죠.

아기 때 열심히 시냅스를 늘리다가 청소년기에 가지치기하는 우리 뇌. 우선 모든 매개변수를 구한 후 중요한 것만 남기는 인공신경망. 무척 닮아 있지 않은가요? 인간은 우리 자신의 뇌를 더 깊이 이해하기 위해 탐구를 계속해 왔습니다. 과학적 탐구의 결과에서 자기공명영상장치(MRI)나 단층촬영영상(CT) 같은 기술을 개발하였고, 이 기술은 인간 뇌를 관찰하는 효과적인 도구가 되었습니다. 그 결과로 심리학과 정신의학이 발전해 인류의 심리적 건강 증진에 기여했으며, 우리를 닮은 인공지능을 만들어 생활의 편리함을 누리고 있죠. <인사이드 아웃 2>와 같은 멋진 예술 작품이 탄생한 것도 빼놓을 수 없습니다. 물리학과 수학을 활용한 공학이 뇌과학을 발전시키고, 뇌과학은 다시 인공지능 기술과 예술에 영향을 주어 놀라운 결과물을 만들어낸 것처럼, 여러 학문은 서로 유기적으로 연결되어 사회 모습을 바꾸어 나갑니다. 공학이 우리 일상에 영향을 끼치는 방법은 그야말로 무궁무진합니다. 공대상상 독자 여러분도 앞으로의 삶에서 어떤 모습으로 공학과 함께할지 즐거운 고민을 많이 펼치시기를 응원합니다.