나무 아래에서 새 소리를 들으면 우리의 시선은 저절로 나무 위로 향한다. 소리가 만들어 내는 공간에 대한 감각 덕분이다. 영화관에서도 스크린 속 주인공의 뒤에서 소리가 나면, 관객석 뒤쪽에 위치한 스피커로 소리를 내보냄으로써 공간 감각을 살려준다. 최근에는 OTT나 음악 스트리밍 서비스에서도 공간 감각을 느끼게 해주는 음향 기술을 제공하고 있다. 이 같은 기술은 입체감을 구현해 몰입도를 높일 수 있어 쓰임새가 확대되는 추세다. 어떻게 하면 소리를 통해 입체감을 느끼게 할 수 있는지, 그 기술의 원리와 미래에 대해 알아보자.
‘입체음향’이란 청취자가 음원(音源)이 발생하는 현장에 있는 것처럼 ▲방향감 ▲거리감 ▲공간감을 느낄 수 있는 음향이다. 이는 소리의 특성을 활용해 만들어진다. 소리는 발생하는 위치에 따라 청취자의 각 귀에 도달하는 시간과 크기가 다르다. 때문에 소리를 통해 방향감과 거리감을 느낄 수 있다. 오예민(상명대학교 문화기술대학원) 교수는 “소리가 발생한 위치와 소리를 듣는 위치 간의 거리에 따라 소리의 세기가 변한다”며 “세기 차이를 통해 소리의 방향감과 거리감을 느낄 수 있다”고 설명했다.
소리를 통해 방향감과 거리감뿐 아니라 공간감까지 느껴져야 입체음향이라고 말할 수 있다. 소리는 크게 ▲직접음 ▲반사음 ▲잔향음으로 나눌 수 있는데, 이 중 반사음과 잔향음이 소리에 공간감을 부여한다. 직접음이란 말 그대로 음원으로부터 발생해 직접 귀로 전달되는 소리이며, 반사음은 직접음이 물체에 부딪혀 반사돼 발생하는 소리를 말한다. 공간에서 직접음이 발생하면 사물에 부딪혀 여러 차례 반사를 거듭하는데, 처음 반사되는 소리가 ‘초기반사음’이다. 초기반사음 이후의 반사음은 음원에서 직접음이 그친 이후에도 공간에 남아 들리게 되는데, 이를 ‘잔향음’이라고 일컫는다. 이처럼 소리는 여러 물체에 반사되는 과정을 거치며 공간에 울려 퍼지게 되고, 공간감을 자아낸다.
입체음향을 구현하는 기술은 여러 종류가 있는데, ‘서라운드(Surround)’가 그 중 하나다. 서라운드는 3개 이상의 ‘채널*(Channel)’로 소리를 내는 기술이며, 청취자를 중심에 놓고 사방에 채널을 배치함으로써 입체음향을 만든다. 서라운드는 통상 5.1채널로 구성되며, 청취자의 정면 좌·우·중앙, 후면 좌·우에 위치한 5개의 채널과 ‘서브우퍼’라는 보조 채널을 함께 배치한다. 5개의 채널로도 모든 음역대와 주파수**의 소리를 나타낼 수 있지만, 초저음 영역을 온전히 구현해 웅장함을 더욱 효과적으로 나타내기 위해서는 서브우퍼도 필수적이다. 때문에 서브우퍼는 소리가 아닌 진동 수준의 낮은 주파수를 만들어내기에 0.1채널로 간주한다. 김성영(KAIST 문화기술대학원) 교수는 “서라운드는 예전부터 주로 영화관에서 쓰이는 기술”이라며 “입체음향 기술의 출발점”이라고 말했다.
서라운드 기술을 통해 최적의 입체음향을 감상하려면 청취자를 중심으로 각 채널 간에 일정한 각도와 거리가 형성돼야 한다. 그 최적화된 청취지점을 ‘스위트 스팟(Sweet Spot)’이라고 말한다. 서라운드의 5.1채널에서 스위트 스팟을 구성하기 위해서는 중앙 스피커를 기준으로 정면에 있는 좌·우 스피커가 각각 30°를 이루고, 후면에 있는 좌·우 서라운드 스피커는 중앙스피커를 중심으로 110°~120° 정도의 각을 이루도록 둬야 한다. 스위트 스팟을 구현하는 과정은 각 채널과 청취자의 위치를 정확하게 파악하고, 각도와 거리를 고려해야 한다는 점에서 쉽지 않다.
서라운드는 여러 개의 채널을 통해 공간감을 명확히 전달할 수 있지만, 채널 여러 개를 구비하는 데 공간과 비용이 소모된다는 한계가 존재한다. 여러 대의 스피커를 놓을 수 있는 장소와 이를 마련하기 위한 비용이 별도로 필요하다는 말이다. 이수용(동아방송예술대학교 음향제작과) 교수는 “여러 대의 스피커를 활용하면 명확한 공간감을 전달할 수 있다는 이점이 있다”면서도 “공간상에서 스피커를 배치하는 과정이 복잡하고, 비용이 많이 발생한다”고 전했다.
많은 공간을 차지하는 장비를 필요로 하는 서라운드의 제약을 극복하기 위해 ‘바이노럴(Binaural)’ 기술이 등장했다. 두 귀로 듣는다는 의미의 바이노럴은 사람의 머리와 유사한 환경을 만들어 소리를 추출하고, 헤드폰에 입체음향을 구현하는 기술을 뜻한다. 이를 위해 사람의 머리 모양으로 만들어진 녹음 장치인 ‘더미 헤드(Dummy Head)’가 필요하다. 더미 헤드의 귀는 그 자체로 녹음이 가능한 마이크이거나 별도로 귀에 마이크를 달아 사용하기 때문에, 더미헤드로 녹음을 진행하면 헤드폰 환경으로 입체음향을 구현할 수 있다.
그러나 이 같은 방식은 녹음한 그대로 들을 수 있을 뿐, 자유로운 변형은 불가하다. 개 짖는 소리를 더미 헤드의 왼쪽 앞에서, 닭 우는 소리를 더미헤드의 오른쪽뒤에서 녹음했을 경우, 개 소리와 닭 소리가 나는 위치를 변환시킬 수는 없다는 이야기다. 이석진(경북대학교 전자공학부) 교수는 “실제로 녹음을 진행하기 때문에, 원하는 입체음향 효과를 얻기에 유리하다”면서도 “수정하기 어렵다는 단점이 있다”고 말했다.
이러한 더미 헤드 녹음의 단점을 보완하기 위해 ‘머리전달함수***’를 이용한 ‘필터링’ 방식이 이용된다. 필터링이란 더미 헤드로 녹음한 소리를 머리전달함수의 값으로 변환시켜 입체음향을 구현하는 것으로, 소리가 나는 위치를 자유롭게 변환할 수 있다. 먼저 더미 헤드로 똑같은 소리를 음원 위치를 바꿔가며 여러 차례 녹음한다. 이후 청취자에게 같은 소리를 들려줘도 음원이 가까이 있으면 주파수가 더 높은 소리로 들리고, 음원이 멀리 있으면 주파수가 낮은 소리로 들린다. 즉 음원과 청취자의 귀가 이루는 거리에 따라 달라지기 때문에 녹음된 소리의 주파수, 머리전달함숫값이 달라지게 된다. 이석진 교수는 “주파수는 소리의 거리감과 방향감에 관한 특성을 반영하고 있다”며 “머리전달함수는 그러한 주파수에 대한 정보”라고 설명했다.
필터링 방식에서는 두 가지 과정을 모두 거쳐야 하는데, ‘음상 정위’가 그 중 하나다. 머리전달함수의 값을 이용해 입체음향이 아닌 단순음에 거리감과 방향감을 부여하는 과정을 음상 정위라고 한다. 음상 정위를 통해 단순음을 ‘위치음’이나 ‘이동음’으로 바꿀 수 있다. 위치음은 음원이 한 곳으로 고정돼 있는 소리이며, 이동음은 음원이 이동하는 소리를 말한다. 음원을 고정시키고자 하는 위치의 머리전달함숫값과 단순음을 합성곱****하면 위치음을 구할 수 있다. 같은 원리로, 소리가 이동하는 궤적에 해당하는 머리전달함숫값들을 각각 단순음과 합성곱하면 이동음을 생성시킬 수 있다.
완전한 입체음향으로 거듭나기 위해서는 반사음과 잔향음을 인위적으로 제어해 공간감을 조절하는 ‘음장***** 제어’ 과정도 거쳐야 한다. 음장 제어를 위해 반사음과 잔향음을 인위적으로 만드는 ‘잔향기’라는 장치가 사용된다. 잔향기는 ▲초기반사음 생성기 ▲콤필터 ▲전역통과필터로 이뤄진다. 입체음향으로 만들려는 단순음을 초기반사음 생성기에 들려주면, 해당 단순음에 대한 초기반사음이 생성된다. 이 초기반사음을 콤필터에 들려주면 여러 장애물에 반사된 잔향음이 만들어진다. 생성된 초기반사음과 잔향음은 전역통과필터에서 적절히 섞이면서 인위적인 느낌을 덜어내고, 최종적으로 잔향기를 통과해 공간감을 갖추게 되는 것이다. 김 교수는 “장치를 통해 반사음을 만들어 청취자가 마치 공간에서 소리가 나는 것처럼 느끼게 한다”고 말했다.
다만 일정한 크기로 제작된 더미 헤드가 다양한 청취자들의 신체적 차이를 반영할 수 없다는 점은 한계로 지적된다. 사람마다 머리의 특성이 다르기에, 더미 헤드와 청취자의 머리 모양의 차이가 클수록 입체음향의 오차도 커진다는 의미다. 때문에 학계에서는 개인화된 머리전달함수를 만들 수 있는 방식을 연구하고 있다. 이수용 교수는 “헤드폰을 통한 입체음향의 경우 두 귀의 거리, 귓바퀴 등 사람마다 다른 신체구조로 인한 변화를 완벽히 반영하기 어렵다”고 밝혔다. 이어 이석진 교수는 “개인별 특성에 맞추기 위한 머리전달함수 개선 연구도 시도하고 있는 추세”라고 설명했다.
전문가들은 발전하고 있는 입체음향 기술이 콘텐츠 산업뿐 아니라 기술, 의료 등 다양한 분야에서 쓰일 수 있기에 전망이 밝다고 입을 모았다. 김 교수는 “스테레오에 머물러 있는 난청 치료 기술을 입체음향으로 확장시키려는 노력이 이어지고 있다”고 전했다.
*채널 : 독립적인 소리를 낼 수 있는 음향장치
**주파수 : 진동과 같이 주기를 띠는 현상이 1초 동안에 반복되는 횟수
***머리전달함수 : 음원에서 귀까지 도달하는 소리의 주파수 등에 관한 정보
****합성곱 : 하나의 함수를 반전 이동시킨 후 또 다른 함수를 곱하고, 이를 구간에 대해 적분해 새로운 함수식을 구하는 연산
*****음장 : 음원을 둘러싸고 있는 공간
신지원 기자
