AI 커버곡과 저작권 침해

글 구혜나 한국저작권보호원 온라인보호부 선임

1. AI 커버곡의 등장과 현황

【AI 커버곡 기술 정의와 핵심 기술】

AI 커버곡 기술은 인공지능(AI)을 활용하여 특정 가수의 목소리를 학습하고 다른 가수의 노래에 추가하는 기술이다. 딥 러닝 알고리즘을 기반으로 목소리의 음색, 음역, 표현 방식 등을 학습하여 새로운 목소리 트랙을 생성한다.

 • 목소리 학습: 딥 러닝 알고리즘을 사용하여 특정 가수의 목소리 데이터를 학습하고, 음색, 음역, 표현 방식, 발음 등 다양한 특징을 분석

 • 목소리 합성: 학습된 모델을 기반으로 새로운 목소리 트랙을 생성하고 원본 노래의 멜로디, 리듬, 가사에 맞춰 목소리를 합성

 • 음악 제작: 합성된 목소리 트랙을 기반으로 새로운 음악 작품을 제작

가수 겸 배우 비비(BIBI)의 신곡 ‘밤양갱’이 주요 음원 사이트에서 정상을 차지하며 대중의 뜨거운 사랑을 받았다¹⁾. 그러나 최근 가수 아이유(IU)가 부른 ‘밤양갱’ 음원 영상이 유튜브에 공개되며 큰 논란을 일으켰다. 이 영상은 아이유의 목소리를 모사한 인공지능(AI)에 의해 생성된 거짓 음원으로 밝혀졌다. 해당 영상은 공개된 지 얼마 되지 않아 조회수 50만 회를 넘기며 폭발적인 반응을 이끌어냈지만, 동시에 진위성과 목소리 도용에 대한 윤리적 문제를 불러일으켰다. 뿐만 아니라 박명수, 백예린 등의 ‘밤양갱’ AI 커버곡 영상도 유튜브에서 수십만 건의 조회수를 기록하며 대중의 관심을 모았다. 특히 고(故) 김광석이 부른 ‘밤양갱’은 그의 진정성 있는 목소리로 듣는 이들의 가슴을 울리며, 그의 음악적 유산이 현대 기술을 통해 새로운 생명을 얻을 수 있다는 가능성을 보여주었다. 

이처럼 AI 기술의 발전은 과학과 기술을 넘어 예술 분야에서도 새로운 창조적 가능성을 열어주는 동시에 저작권 침해 문제와 윤리적 측면에서 중요한 논의를 촉발하고 있다. 이는 기술적 진보와 그에 따른 문화적, 법제도적 도전에 대해 우리 사회가 어떻게 대응해야 할지에 대한 성찰의 기회를 제공한다. 인간이 가진 지적 능력을 기계를 통해 구현하는 AI 기술의 급속한 발전은 일상의 다양한 영역에 혁명적인 변화를 가져오고 있으며, 음악 산업에서도 그 영향력이 두드러지고 있다. 

AI가 가수의 목소리를 학습하여 다른 가수의 곡을 커버하는 기술은 전 세계적으로 큰 관심을 불러일으키고 있다. 최근에는 딥페이크(Deepfake)를 이용해 실제 가수의 얼굴과 목소리 모두를 AI로 만든 영상도 등장하고 있다. 이러한 기술은 단순한 재미를 넘어서 상업적 음악 제작과 협업에 있어 새로운 가능성을 열어주고 있지만, 저작권 침해 문제와 윤리적 고민을 동시에 야기하고 있다. AI를 통해 생성된 커버 노래가 원작자의 동의 없이 제작되고 유포될 경우, 저작권 침해의 소지가 크며 이는 목소리의 저작권 인정 여부를 넘어 복잡한 문제로 확장될 수 있다. 현재 AI 커버곡 기술은 다양한 음악 장르에 걸쳐 널리 사용되고 있으며, 특정 가수의 목소리를 정밀하게 분석하여 다른 가수의 곡에 적용함으로써 원곡과는 다른 새로운 창작물을 생성하는 수준까지 발전했다. 이 과정에서 음악 제작자들은 새로운 형태의 아티스트 협업은 물론, 고전곡을 현대적으로 재해석하는 등의 창의적 시도가 가능해졌다. 그러나 이러한 혁신성에도 불구하고 AI 커버곡은 새로운 저작권 이슈를 낳고 있다. 기존 음원에 새로운 목소리를 추가함으로써 발생하는 저작권 문제, AI가 학습한 목소리를 사용한 협업의 법적 지위 등에 대한 명확한 규정이 부재한 상태이다. 이러한 문제는 음악 산업 내에서 큰 논란을 일으키고 있으며, 예상치 못한 복잡한 상황을 초래하고 있다.

[그림] 유튜브 내 업로드된 가수 김광석이 부른 밤양갱 영상

(출처: 유튜브 채널, 당신의 이야기를 들려드립니다)

2. 음성 변환(Voice Conversion, VC) 기술

음성 변환(Voice Conversion, VC) 기술은 특정 개인의 목소리를 다른 사람의 목소리로 변환하는 기술이다. 이는 성대모사를 AI로 수행하는 과정으로 이해할 수 있다. 예를 들어, 비비의 ‘밤양갱’ 노래를 아이유의 음성 스타일로 변환하여 마치 아이유가 직접 노래를 부른 것처럼 들리게 하는 기술이다. 음성 변환 기술은 다양한 분야에서 활용되고 있으며, 주요 적용 분야로는 음성 합성 및 텍스트 변환, 음성 감정 변화, 음성 변조 및 보안, 음성 관련 연구 등이 있다. 음성 변환 기술은 크게 세 단계로 작동한다. 첫 번째는 음성 인식 단계로, 인간의 목소리를 음향 신호로 받아들여 음소, 음절, 단어 단위로 분류한다. 두 번째는 음성 변환 단계로, 인식된 음성 정보를 기반으로 목표 목소리에 맞춰 변환한다. 마지막으로는 변환된 음성 정보를 기반으로 새로운 음향 신호를 생성한다. 이 과정에서는 웨이브넷(WaveNet)과 파라미터 기반 음성 합성 기술을 사용하여 자연스럽고 실감 나는 목소리를 합성한다. 

[표] 음성 변환 기본 원리 및 주요 변환 기술과 모델

음성 변환 기술의 장점을 살펴보면 성별, 나이, 언어, 음색 등 다양한 목소리 변환이 가능하여 창의적인 콘텐츠 제작 및 개인 맞춤형 서비스 제공에 활용될 수 있다는 점이다. 예를 들어, 가수는 자신의 목소리를 다른 캐릭터 목소리로 변환하여 애니메이션 OST에 참여하거나, 게임 개발자는 게임 캐릭터에 다양한 목소리를 부여하여 게임의 몰입감을 높일 수 있다. 또한, 챗봇 음성 안내 시스템은 사용자의 선호에 맞춰 목소리를 변환하여 보다 개인화된 경험을 제공할 수 있다. 시각 장애인은 스크린 리더를 사용하여 텍스트를 목소리로 변환하고, 외국어를 모르는 사람은 외국어 콘텐츠를 자신의 언어로 번역할 수 있다. 최근 삼성의 갤럭시 S24에 탑재된 실시간 AI 번역 통화도 이 기능의 하나이다. 음성 변환 기술은 자막 제작, 번역, 데이터 입력 등의 작업의 정확도와 효율성을 높일 수 있으며, 새로운 기회를 창출할 수 있다.

[표] 음성 변환 주요 활용 분야 

그러나, 아직 해결해야 할 문제점도 존재한다. 현재 음성 변환 기술은 목소리를 변화하는 과정에서 자연스러움을 유지하는 데 어려움을 겪고 있으며, 특히 감정 표현이나 섬세한 음색 변화 과정에서 인공적인 느낌을 줄 수 있다. 또한, 범죄 악용 가능성과 윤리적 문제도 제기된다. 딥페이크 기술과 결합하여 가짜 뉴스 제작, 보이스피싱 등 사기에 악용될 수 있으며, 개인 정보 보호, 저작권 침해, 인간 존엄성 훼손 등의 윤리적 문제를 야기할 수 있다. 이처럼 음성 변환 기술의 발전은 창의적 콘텐츠 제작 및 개인 맞춤형 서비스 제공에 큰 가능성을 열어주지만, 이에 따른 윤리적 문제와 기술적 한계를 고려하여 신중히 활용해야 한다. AI 기술이 음악과 예술 분야에 가져온 변화를 이해하고, 이로 인해 발생하는 법적 및 윤리적 문제에 대한 해결 방안을 모색하는 것이 무엇보다 중요하다.

3. AI 커버곡과 저작권 침해

인공지능 기술의 급격한 발전은 창작 활동의 기본 구조와 접근 방식을 근본적으로 변화시켜 창작물의 생성 및 배포 과정에 혁신을 가져왔다. 이러한 변화는 기존 창작 방식에 대한 규범과 가치관을 재고하게 만들며, 창작물의 속성과 배포 방식을 다각도로 재해석하도록 요구하고 있다. 그러나 동시에 이 기술적 발전은 저작권법을 포함한 지식재산권의 기존 틀에 도전하며, 저작권 침해의 새로운 형태를 유발하여 법적, 윤리적 쟁점을 증폭시키고 있다. 이는 법적 체계 내에서 새로운 규정과 정책을 마련할 필요성을 제기하며, 창작물의 저작권을 보호하고 관리하는 방식에 대한 근본적인 재검토를 요구하고 있다.

위에서 살펴본 음성 변환 기술, 즉 AI를 활용한 커버곡 제작은 현대 음악 산업에 새로운 창조적 가능성을 열어주며 많은 이들에게 전에 없던 새로운 경험을 제공하고 있다. 이 기술은 기존 가수의 목소리를 이용해 새로운 곡을 생성함으로써 전통적인 음악 창작 방식을 넘어서는 혁신을 보여주었다. 그러나 이러한 기술적 발전에도 불구하고, 저작권법과 관련된 법적 문제를 함께 야기하고 있다. 

AI 커버곡을 제작하는 과정에서 원곡을 변형하거나 복제하여 새로운 곡을 만드는 행위는 원곡자의 명시적 동의 없이 이루어질 경우 저작권 침해라는 법적 문제를 초래할 수 있다. 또한, 가수의 목소리를 인공지능 기술로 복제하는 과정은 해당 가수의 실연권을 침해할 가능성이 있으며 이는 인간 가수의 목소리가 갖는 독특한 가치와 개성을 법적으로 보호하려는 목적에 반한다. 

저작권법은 창작물의 창조자에게 그들의 작품에 대한 독점적 권리를 부여함으로써 창작 활동을 장려하고 보호하는 것을 목적으로 한다. 이에 따라 원곡의 멜로디, 가사, 가수의 목소리와 같은 창작 요소들은 저작권법의 보호를 받으며 이를 무단으로 사용하거나 변형하는 것은 법적 제재를 받을 수 있다. 따라서 AI 커버곡과 같은 새로운 형태의 음악 창작 활동이 저작권법의 테두리 안에서 합법적으로 이루어지기 위해서는 원곡자 및 가수와의 사전 협의와 동의, 적절한 저작권 사용료의 지급 등이 필수적이다.

한국저작권보호원은 AI 커버곡의 저작권 침해 이슈에 대응하기 위해 약 2주간 온라인 재택모니터링단을 통해 유튜브 내 생성형 AI 활용 목소리 무단 도용 커버곡에 대한 유통현황을 조사하였다.

조사 결과, 유튜브를 통해 생성형 AI를 활용하여 가수의 목소리를 변환시킨 목소리 무단 도용 AI 커버곡은 총 1,647건이 확인되었으며, 무단 도용 AI 커버곡을 업로드한 유튜브 채널 수는 총 227개 채널이 확인되었다. 또한, 원곡의 발매 국가를 확인 한 결과 총 10개 국가로 나타났으며, 한국 1,530건(92.9%), 미국 64건(3.9%), 일본 38건(2.3%), 기타 15건(0.9%) 순으로 나타났다. 또한, 생성형 AI를 활용한 커버곡에 무단으로 목소리가 활용된 가수의 수는 총 254명으로 확인되었다. 목소리가 가장 많이 활용된 상위 5명 가수는 아이유 175건(10.6%), 도경수 59건(3.6%), 백예린 55건(3.3%), 김광석, 해린 54건(3.3%), TWICE 48건(2.9%) 순으로 나타났다.

[표] 유튜브 내 생성형 AI를 활용한 목소리 무단 도용 나라별 현황

이외에도 음성 변환 기술이 보이스피싱, 일명 ‘딥보이스’ 사기에 악용되는 사례가 증가하고 있어 이에 대한 우려가 커지고 있다. IT전문 매체 기가진은 음성 변환 기술로 생성된 가짜 목소리로 인해 한 기업이 무려 24만 3,000달러(약 2억 8,500만 원)의 피해를 입었다고 보도하였다. 이 사건에서, 기업의 한 매니저는 상사로부터 들려오는 것처럼 가장된 전화를 받고, 헝가리의 한 은행 계좌로 추가 요금을 송금하라는 지시를 따랐으나, 나중에 밝혀진 사실은 그 목소리가 실제 상사의 것이 아니라, AI 기술로 합성된 음성이었다는 점이다. 이 합성 음성은 상사의 음색은 물론 말버릇과 사투리까지 완벽하게 모방했다고 한다. 

또 다른 사례로, 2021년 아랍에미리트(UAE)의 한 은행에서는 대기업 임원을 가장한 AI 딥보이스를 이용한 전화를 받고 3,500만 달러(약 420억 원)를 송금한 사건³⁾이 있었다. 평소 해당 임원의 목소리에 익숙했던 은행 직원은 전화를 통해 들려오는 목소리에 의심 없이 거액을 이체하였다. 이와 같은 보이스피싱 사례의 증가에 대응하여, 우리나라 경찰청은 딥보이스를 활용한 보이스피싱에 주의를 촉구하는 공익 영상을 제작하기도 하였다⁴⁾.

[표] 국내외 ‘딥보이스’ 주요 피해 사례

4. 마치며

AI 기술의 발전은 창작 산업에 새로운 가능성을 열어주는 동시에 저작권 침해라는 복잡한 문제를 야기하고 있다. AI 커버곡 제작과 관련된 저작권 문제를 해결하기 위해서는 기술적, 법적, 윤리적 차원의 다각적인 접근이 필요하다. 원곡의 저작권을 존중하고 보호하기 위해 저작권자의 사전 동의를 얻는 것이 중요하며, 이는 저작권법의 개선, AI 창작물에 대한 법적 정의 및 분류, 그리고 권리 보호 방안의 명확화를 통해 이루어져야 한다. 

글로벌 시장에서 음악 산업을 보호하고 저작권 침해에 효과적으로 대응하기 위해서는 국제적 협력을 통한 저작권 보호 규정의 통일화가 필요하다. 이를 위해 저작권 침해 감지 및 관리 시스템의 고도화, 창작자와 저작권자 간의 투명한 소통 채널 구축, 저작권에 대한 교육 및 인식 제고, 저작권 보호 기술의 발전이 중요하다.

한국저작권보호원은 공공기관으로서 정보 제공, 저작권 침해 사례에 대한 조사 및 분석 강화, AI 창작물에 대한 저작권 정책 개발 및 법제화 지원을 통해 창작자의 권리를 적극적으로 보호해야 한다. 또한, 국내외 저작권 관련 기관과의 협력을 통해 국제적인 저작권 보호 기준을 마련하고, AI 기술 발전이 창작 산업에 미치는 영향을 긍정적으로 관리하는 방안을 모색해야 한다. 결론적으로, AI 기술의 건강한 발전과 창작 산업의 지속 가능한 성장을 위해서는 기술, 법률, 윤리가 상호 작용하는 포괄적인 접근 방식이 필요하다. 이를 통해 AI는 인류의 창의성을 확장하고 증진시키는 동시에, 저작권 침해 및 개인정보 보호 문제에 대한 책임 있는 해결책을 제시해야 한다. 저작권 보호의 중요성은 창작 산업의 건강한 발전을 위해 필수적이며, 이를 강화하기 위한 노력은 지속적으로 이루어져야 한다. 

1) 비비 ‘밤양갱’, 르세라핌‧투어스 제치고 인기가요 1위(일간스포츠, 2024.3.17.) 

   https://isplus.com/article/view/isp202403170256

2) [Paper Review] Voice Conversion(http://dsba.korea.ac.kr/seminar/?mod=document&uid=1819)

3) “동료 맞네” 영상통화 뒤 340억 송금…홍콩 ‘딥페이크’ 쇼크(The Joongang, 2024.02.04.)

   https://www.joongang.co.kr/article/25226766#home

4) [※소름주의] 내 딸인 줄 알았는데...(유튜브 경찰청, 2022.10.27.)

   https://www.youtube.com/watch?v=cG9Qkp6PkFM

5) 아이돌 성적 대상화 어느 수준이길래… ‘알페스’ 이어 ‘섹테’ 처벌 국민청원까지(세계일보, 2021.1.16.)

   https://www.segye.com/newsView/20210116504536?OutUrl=naver

6) “러시아에 항복”…AI로 만든 ‘가짜’ 젤렌스키(국민일보, 2022.3.17.)

   https://www.kmib.co.kr/article/view.asp?arcid=0016877398&code=61131111&cp=nv

본 글의 내용은 블로그에서도 보실 수 있습니다.

링크: https://blog.naver.com/kcopastory/223490955678