<편집자주>
“시리야, 지금 몇 시야?” “헤이 빅스비, 친구에게 전화 걸어줘.” 스마트폰에 탑재된 인공지능(AI)에게 한 번쯤 해본 말들이다. 시간을 안내하고 전화를 걸어주던 인공지능은 이제 실시간으로 외국어를 통역하고 방대한 양의 정보를 한 눈에 알아볼 수 있게 정리하는 등 엄청난 발전을 거듭해왔다. 지금도 인공지능은 스스로 학습하고 발전하고 있으며, 그에 따라 인공지능이 우리 삶에서 차지하는 비중도 커지고 있다.
그렇다면 인공지능의 발전이 과연 우리에게 좋은 점만 가져다줄까. 인공지능은 인간의 명령을 곧이곧대로 따를 수밖에 없기에, 인간이 인공지능을 범죄에 활용하는 등의 사례가 발생하고 있다. 이 같은 인공지능의 잘못된 활용 사례와 부작용 등을 알아야 더욱 발전할 인공지능을 슬기롭게 활용할 수 있을 테다.
내가 좋아하는 노래를 원하는 가수의 목소리로 변조해 들을 수 있다. 특정 인물의 목소리가 담긴 음성 파일만 있으면 마치 그 사람이 노래를 부른 것처럼 노래가 완성된다. 타인의 목소리를 마음대로 사용해도 되는 것일까? 인공지능 커버곡(이하 AI 커버곡)의 원리와 로 인해 나타나는 사회 문제를 알아보자.
김유성 기자
좋아하는 노래를 원하는 가수의 목소리로
오래 전 세상을 떠난 가수들이 최근의 대중가요를 부르는 상상을 해본 적 있는가. 과거에는 상상에만 그쳤던 일이 현실로 다가왔다. 원곡에 특정 인물의 목소리를 합성한 노래인 AI 커버곡 덕분이다. 가수부터 코미디언 등 다양한 사람들의 목소리를 이용해 제작된 AI 커버곡은 유튜브 등의 플랫폼에서 쉽게 찾아볼 수 있다. 인터넷에서 MR*이나 가수의 목소리를 쉽게 구할 수 있고, AI 커버곡 제작 프로그램을 사용하면 누구나 완성도 있는 결과물 제작이 가능하다. 어떻게 다양한 목소리를 입힌 노래를 간단하게 만들 수 있는 것일까?
AI 커버곡을 생성하려면 가장 먼저 음원 파일에서 목소리와 배경음악을 분리하는 과정을 거쳐야 한다. 음원에는 가수의 목소리와 코러스, 에코, 배경음악 등 다양한 요소가 혼재해 있다. 목소리만을 따로 추출하기 위해 배경음악 등 음원 내 다른 요소들을 없애는 과정을 거쳐야 한다. 이 과정에서 ‘역위상’이 활용된다. 역위상이란 음원 내에서 배경음악이 갖는 특정한 주파수와 반대되는 주파수를 입혀서 소리를 소거하는 과정이다. 소리는 위아래로 진동하는 파동의 형태로 우리 귀에 들어온다. 하나의 파동은 그 진동수와 완벽히 반대되는 진동수를 가진 파동을 만나면 사라진다. 역위상은 이 점을 이용해 완벽히 반대되는 파동으로 배경음악을 삭제한다. 김경백(전남대학교 인공지능융합학과) 교수는 “역위상을 활용하는 것이 음원으로부터 깨끗한 목소리를 확보하기 위한 가장 좋은 방법”이라고 설명했다.
목소리를 추출했다면 다음으로 확보해야 하는 것은 배경음악이다. 최근에는 가수의 앨범이나 동영상 플랫폼 등에서 MR을 쉽게 구할 수 있지만, MR을 구하는 것이 어렵다면 목소리를 추출하는 과정과 동일하게 역위상을 활용해 배경음악만 추출하면 된다. 목소리만이 가진 진동수를 반전시켜 없애면 배경음악을 얻을 수 있다.
다만 배경음악이나 코러스 등 제거해야 하는 요소의 주파수가 가수 목소리의 주파수와 유사한 대역에 있을 경우, 역위상 과정만으로는 가수 목소리만 깔끔하게 추출하기 어렵다. 이를 보완하고자 대량의 데이터를 처리하는 복잡한 과정을 학습시켜 스스로 수행하도록 만드는 기술인 ‘딥러닝(Deep-Learning)’이 사용된다. 인공지능에게 사람의 목소리를 학습시켜 다양한 악기 소리가 섞인 배경음악에서 사람의 목소리만을 추출하게 만든다. 인공지능의 신경망 속에 사람의 목소리가 학습돼 여러 소리가 혼재된 상황에서도 사람의 목소리만을 인식해 추출하는 것이다. 기타 등 악기가 갖는 특징과 사람의 목소리가 갖는 특징이 상이하기 때문에 사람의 목소리만을 인식하는 것이 가능하다. 안창욱(GIST 전기전자컴퓨터공학부) 교수는 “인공지능이 사람의 목소리가 갖는 특성을 인식해 원곡 음원 파일에서 분류할 수 있다”고 전했다.
AI 커버곡 제작에 사용될 목소리와 배경음악을 추출했다면 2가지를 합치는 과정을 거쳐야 한다. 이 과정에서는 ‘RVC(Retrieval-based-Voice-Conversion)’ 프로그램이 사용된다. RVC 프로그램은 목소리의 억양이나 톤, 발음 등 특징을 조작해 다양하게 변조·생성할 수 있는 기술이다. AI 커버곡에 덮어씌우고자 하는 가수의 목소리 파일을 RVC 프로그램에 삽입한다. 프로그램 내 인공지능 기술이 목소리의 데이터를 분석하고 재구성하며 학습하는 과정을 거친다. 이 과정을 거치면 목소리의 톤 등을 자유롭게 변경할 수 있는 상태가 된다. 배경음악은 반주의 높낮이가 쉬지 않고 바뀌다 보니 RVC 프로그램을 통해 손쉬운 변조가 가능한 목소리 파일을 첨부해야 한다. 안 교수는 “사용자가 원하는 목소리를 RVC 프로그램을 통해 훈련시키면 그 목소리가 배경음악에 적절한 자유로운 변환에 최적화된 음성 파일이 된다”고 밝혔다.
RVC 프로그램이 음성을 학습하는 과정에서도 딥러닝이 사용된다. RVC 프로그램은 여러 사람이 이용하는 프로그램이기 때문에 다양한 사람의 목소리를 학습할 수 있다. 같은 가수의 목소리를 사용하더라도 한 가수가 부른 여러 노래를 학습해 다양한 톤과 억양을 학습하는 데 용이하다. 많은 종류의 목소리를 학습하고 분석하는 과정을 거쳐 음성 파일을 쉽게 변조할 수 있게 된다.
이후 RVC 프로그램 내에서 목소리 파일을 AI 커버곡을 제작할 배경음악 파일에 합성하도록 지정한다. 배경음악이 가지고 있는 음악적 특징에 맞게 음성 파일 속 목소리의 톤을 변환시켜 이질감 없게 노래를 만든다. 이 과정을 거치면 우리가 들을 수 있는 AI 커버곡이 완성된다.
*MR(Music Recorded) : 노래반주 및 연주음 감상을 목적으로 가수의 목소리가 빠진 연주만으로 제작된 음원
배경음악과 목소리가 넘나드는 법의 경계
AI 커버곡이 양산되면서 다양한 사회 문제가 발생하고 있다. 가수가 실제로 부르지 않았음에도 마치 실제로 부른 듯한 느낌을 자아내는 음원 파일이 유튜브 등 다양한 플랫폼에서 유통되고 있다. AI 커버곡을 접한 이들은 신기함을 느낌과 동시에 완벽에 가까운 목소리 변조에 대한 우려도 함께 표하고 있다.
AI 커버곡이 양산되는 원인으로는 생성 프로그램만 이용하면 누구나 어렵지 않게 만들 수 있다는 점이 꼽힌다. 특별한 기술 없이, 프로그램에 MR과 음성 파일만 넣으면 완성도 있는 AI 커버곡을 만들 수 있기 때문이다. 유승익(한동대학교 BK21 법 미래인재 양성사업단) 교수는 “AI 커버곡과 그렇지 않은 작업물을 구분할 수 있는 기술이나 기준이 없다”고 말했다.
AI 커버곡의 배경음악으로 인해 저작권 침해가 빈발하고 있다. AI 커버곡을 제작하기 위해 사용한 배경음악 등이 타인의 저작물임에도 저작권자의 허가 없이 사용한다면 이는 저작권법 위반이다. AI 커버곡이 다수 제작되고 플랫폼을 통해 배포되면서 이 같은 저작권법 위반 사례가 늘고 있는 것이다. 박준우(서강대학교 법학전문대학원) 교수는 “AI 커버곡 원곡의 저작자인 작사가와 작곡가의 허락 없이 AI 커버곡을 제작 및 공개하는 행위가 저작권 침해임은 명확하다”고 지적했다.
또한 AI 커버곡에 사용되는 목소리를 무단으로 사용할 경우 퍼블리시티권이 침해될 수도 있다. 퍼블리시티권이란 초상이나 성명, 음성 등 특정인의 정체성을 상업적으로 이용해 경제적 이익을 얻을 수 있는 권리를 말한다. 목소리의 경우 창작물이 아닌 개인의 인격 요소이기 때문에 목소리를 사용해도 저작권법에 위배되지 않지만 퍼블리시티권은 침해된다. 박 교수는 “가수 등 유명인의 목소리를 허락 없이 상업적으로 이용한다면 당사자에게 돌아가야 할 이익이 제3자에게 돌아가게 되는 문제가 있다”고 전했다.
고인이 된 가수의 목소리를 유족의 동의 없이 무단으로 사용하는 것 또한 문제의 소지가 있다. 『저작권법』 제128조에서 저작자가 사망하면 유족이 저작권을 침해하거나 고인의 명예를 실추시켰을 경우 명예회복 등의 청구를 할 수 있다고 규정하고 있다. 해당 규정이 존재함에도 유족의 동의를 구하지 않고 고인의 목소리가 사용되는 경우도 존재한다. 이상직(법무법인(유한) 태평양) 변호사는 “고인의 목소리를 이용해 제작된 AI 커버곡이 고인의 명예를 실추시킬 경우 명예훼손이 성립될 수도 있다”고 설명했다.
AI 커버곡이 양산되며 저작권 침해가 발생하고 있기에, AI 커버곡을 배경음악 등의 저작권자의 허가 없이 무단으로 제작할 경우 처벌을 강화해야 한다는 지적이 이어진다. AI 커버곡이 완전히 새로운 창작물이 아닌 원곡의 배경음악과 가사를 토대로 만들어졌기 때문에 원곡에 대한 저작권을 준수해야 한다는 이유에서다. 유 교수는 “AI 커버곡에 대해 규제하는 법률 개정을 통해 AI 커버곡 무단 생성을 완화하는 법적 근거를 마련할 수 있을 것”이라고 전했다.
퍼블리시티권이 침해되는 문제를 해결하기 위해 퍼블리시티권 관련 법률을 규정해야 한다는 의견도 제기된다. 현재는 『부정경쟁방지 및 영업비밀보호에 관한 법률』을 통해 국내에 널리 인식되고 경제적 가치를 갖는 타인의 초상이나 음성만을 무단으로 사용하지 않도록 규정하고 있다. 하지만 AI 커버곡은 널리 알려진 유명인이 아닌 인물의 목소리로도 만들 수 있기 때문에 퍼블리시티권 관련 법률 규정의 필요성이 제기되는 것이다. 이 변호사는 “현행법상으로는 국내에서 널리 알려진 목소리만이 보호 대상”이라며 “보호 대상이 확대될 필요가 있다”고 강조했다.
AI 커버곡으로 인한 고인의 명예훼손을 방지하기 위해 유족의 사전 동의 없이 고인의 목소리를 사용할 경우 처벌 수위를 높여야 한다는 지적도 이어진다. 현재 고인의 목소리로 제작된 AI 커버곡을 유튜브 등지에서 쉽게 찾아볼 수 있다. 유족 동의 없이 고인의 목소리를 사용하는 것에 대한 처벌 수위를 높여 고인의 목소리를 함부로 사용하는 행태를 방지할 수 있다는 것이다. 이 변호사는 “고인의 목소리를 기반으로 해 AI 커버곡을 제작한다면 유족에게 고인의 목소리에 대해 주장할 권리를 보장해야 한다”고 말했다.
전문가들은 생성 프로그램을 통해 누구나 완성도 있는 AI 커버곡을 만들 수 있기 때문에, 워터마크 등을 통해 AI 커버곡임을 명시해야 한다고도 말한다. AI 커버곡임을 명시하는 것과 더불어 저작자나 가수 등 해당 노래에 대한 정보를 삽입하는 것도 필요하다고 강조했다. 박 교수는 “워터마크를 이용하는 것은 AI 커버곡 무단 제작 방지뿐만 아니라 합법적으로 제작된 AI 커버곡이 투명하게 유통되기 위한 좋은 수단”이라고 조언했다.
