그림 1. 모노 사운드 시스템
가상 서라운드 사운드에 앞서 먼저 서라운드 사운드가 무엇인지 알아야합니다. 서라운드 사운드는 ‘입체 음향’이라는 뜻으로, 녹음된 소리를 듣는 것이 아니라 실제 그 장소에서 소리를 듣는 듯한 현장감을 줍니다. 각각 다른 소리가 재생되는 스피커의 수를 채널이라고 하는데, 소리의 입체감을 살리는 기술은 헤드셋 속 음파가 재생되는 채널의 개수를 증가시키면서 이 개발되었습니다. 채널이 많아질수록 듣는 방향의 음파를 미세하게 조정할 수 있게 되어 현실에서 들리는 소리처럼 생동감 넘치는 소리를 들을 수 있게 되는 것이죠. 최초의 스피커는 하나의 채널로 구성되었습니다. 이렇게 가장 기본적인 형태의 음향 시스템은 모노 사운드 시스템이라 불리며 축음기 등의 초기 스피커에서 찾아볼 수 있습니다. 하지만 모노 사운드의 한계는 명확합니다. 소리가 평면적이고 듣는 위치에 따라 양쪽 귀에서의 음질이나 크기의 차이가 크다는 단점이 있습니다.
이를 보완하기 위해 2채널을 이용한 기술인 스테레오가 개발되었습니다. 채널을 두 개로 분리하여 소리의 입체감을 살렸고 음향의 깊이와 공간감을 구성해내 최초의 시스템입니다. 흔히 광고에서 볼 수 있는 스테레오 스피커, 스테레오 효과 등이 이를 지칭합니다.
그림 2. 스테레오 사운드 시스템. 2.1채널(좌)와 2채널(우)
우리가 실생활에서 듣는 소리는 음원의 위치, 음파의 진행방향에 따라 다양한 상호작용 거쳐 우리의 귀에 들어오게 됩니다. 두 개의 귀에서 각각 다른 소리를 인식함으로써 발생하는 차이를 스피커에서 이를 구현해 내기 위해서는 채널을 분리해야 했습니다. 추가적으로 2.1채널 스테레오기술은 저음부를 강조하는 서브 우퍼 스피커를 추가하여 양단 스피커에 의해 표현되는 소리 표현의 물리적인 한계를 보강하기도 합니다.
다음은 후방의 소리까지 표현하는 서라운드 사운드 시스템, 5.1채널에 대한 소개입니다. 5.1채널 시스템은 전면 스피커 2개, 후면 스피커 2개, 중앙 1개 및 서브우퍼 총 6가지 스피커로 구성됩니다. 특히 중앙에 위치한 스피커는 목소리 주파수 대역대의 소리를 증폭 및 재생하여 인물의 대사를 돋보이게 하는 역할을 수행합니다. 5.1채널부터는 청자보다 후방에 위치한 스피커의 음향효과로 인해 전방위의 소리를 표현할 수 있게 되고 실제 그 장소에 있는 듯한 착각을 불러일으킬 정도의 소리표현 능력을 가지고 있습니다. 5.1채널 외에도 8개 이상의 스피커를 사용하는 7.1채널, 10.2채널 등이 있습니다.
그림 3. 서라운드 사운드 시스템. 5.1채널(좌)와 7.1채널(우)
서라운드 사운드는 현장감 넘치는 소리를 들려주지만, 늘어나는 스피커의 개수로 인해 공간 낭비가 심하다는 한계점이 있습니다. 이 문제를 해결하기 위해 가상 서라운드 사운드라는 시스템이 도입되었습니다. 공간 문제를 해결하고자 하나의 스피커를 사용하지만 서라운드 사운드의 현장감을 유지하는 기술입니다. 하나의 전방 스피커를 이용하지만 소리를 듣는 사용자의 귀에서는 여러 방향에서 소리가 발생된 것처럼 느끼게 하는 기술입니다.
그림 4. 소리반사(HRTF)를 연구하는 모습
가상 서라운드 시스템은 스피커 장치에 다중 채널 사운드를 재생성하는 일련의 규칙 및 알고리즘을 이용합니다. 알고리즘은 음파의 반사를 연구하여 개발하는데, 음파가 사람의 몸에 도달하면 사람의 머리와 어깨 및 외이의 곡면에서 반사되어 변형이 일어납니다. 반사파는 서로 간섭하여 파동의 일부가 증폭되거나 감소하면서 소리의 음량이나 음질이 바뀌는데 이러한 변형을 HRTF (Head-related Transfer Function)라고 합니다. HRTF는 파형에 복잡한 변형을 주게 되는데 뇌는 파형의 차이를 해석하여 음파의 기원을 찾아내는 알고리즘을 사용하기 때문에 변형을 보정하는 것이 자연스러운 음향을 만드는 일의 관건이 됩니다. 연구자들은 이 현상을 고려하여 자연스러운 가상 서라운드 사운드 시스템을 만듭니다.
인체 평균의 신체 사이즈의 소형 마이크를 부착하여 각 부위에서의 음파의 변형을 파악하고 신체와 음파 사이의 상호작용을 분석합니다. 이 정보는 알고리즘 집합으로 시스템에 적용되어 마치 현실에서 들리는 소리처럼 게임 속에서 생성된 음파가 “자연스럽게” 변형되어 사용자의 귀에 들어가게 됩니다. 결국, 뇌는 소리의 방향을 불편함 없이 인지할 수 있게 됩니다.
이렇게 구현된 가상 서라운드 사운드는 게임 등에서 활발히 사용되고 있습니다. 인기 FPS 게임에서는 다채널의 헤드셋을 사용하여 소리로 적의 방향을 식별하는 ‘사운드 플레이’ 가 사방에서 날아오는 총소리, 발걸음 소리 등을 구별해내며 승률을 높이기도 한다고 합니다. 게임 외에도 점차 확대되는 VR 산업과 연계되어 성장할 수 있는 무한한 가능성을 지닌 기술로 평가되고 있습니다.
-
그림 5. 구면 좌표에 기초한 다채널 헤드셋의 원리 -
그림 6. 다채널 VR기기를 사용하고 있는 모습
- 그림출처
- 그림 1. Tracy Wilson, How virtural surround sound works. Howstuffworks, electronics.howstuffworks.com/virtual-surround-sound.htm
- 그림 2. 서라운드와 가상 서라운드에 대하여. Scheherazade, http://www.schezade.co.kr/board/guide/board_view.html?s_key=&s_field=&category=&page=&no=79
- 그림 3. 청각, 입체음향. Economy21, http://www.economy21.co.kr/news/articleView.html?idxno=1426
- 그림 4. 3D audio effect. Wikiwand, https://www.wikiwand.com/en/3D_audio_effect
- 그림 5. Listening tests with individual versus generic head-related transger functions in six-degrees-of-freedom virtual reality. researchGate, https://www.researchgate.net/figure/HRTF-measurement-setup-with-a-participant-tertainment-SADIE-database-2-The_fig2_336130032
- 그림 6. High-powered vr at a high end price. The verge, https://www.theverge.com/2019/6/28/19102584/valve-index-steamvr-headset-review-shipping-today