AI
2023년은 음악뿐 아니라 온 세상이 AI로 화제였습니다. 소프트웨어, 플러그인 소식의 절반 가까이에 AI가 있었던 것 같습니다.
Universal Music은 AI 스타트업 Endel과 파트너십을 맺어 사운드스케이프를 제작했습니다. Beatstars는 Lemonade라는 AI 스타트업과의 파트너십으로 AI 음악 제작 도구 'Seeds'를 출시했습니다. Epidemic Sound는 비디오에 맞는 배경음악을 AI가 자동으로 찾아주는 'Soundmatch' 기능을 소개했습니다.
국내 산업에서도 AI 음악을 활용한 사례가 하나둘 보이고 있습니다. NH투자증권은 매달 투자 활동을 시각화해서 보여주면서 동시에 AI 음악을 재생해 주는 '월간큐브'와 '월간나무' 서비스를 출시했습니다. SK텔레콤은 AI가 생성한 수면음악을 재생해 주는 AI 스피커 '누구'를 발표했습니다. 두 서비스 모두 국내 인공지능 음악 작곡 기업 포자랩스가 서비스했습니다.
작곡에 AI가 활용된 사례도 있습니다. 이미 2021년 '강철부대' OST를 AI가 작곡했다는 소식이 있었습니다. 올해 나온 롯데리아의 '버거뮤직' 두 번째 음원은 AI가 버거의 이미지 라인과 색상을 보고 음계와 음역을 결정해 만든 음원이라고 합니다. 한편 한국음악저작권협회는 지난 7월 25일 'AI 세미나'를 개최해 인공지능 전반에 대한 대응 방안 마련을 모색하기도 했습니다. 박학기 부회장은 "기존 음악의 무단 사용은 절도와 다름없다"며 AI 학습용 데이터에 대한 정당한 대가 지불이 필요하다고 언급했습니다.
AI를 활용한 음악 소프트웨어
AI 기술이 음악 작업에 큰 영향을 미친 것 중 하나는 노이즈 보정 기술입니다. 하이브가 투자하고 인수한 것으로 알려진 국내 기업 '슈퍼톤'은 작년 'GOYO'라는 베타버전의 음원 분리 플러그인을 배포해 훌륭한 성능으로 눈길을 끌었는데요. 마침내 올해 11월 정식 버전인 'Supertone Clear'를 출시했습니다. 그 외에도 Waves에서 발표한 Clarity Vx DeReverb, Accentize의 dxRevive도 AI를 활용한 노이즈 제거 플러그인입니다.
노이즈 보정 기술은 실제 음원 제작 과정에 활용되기도 했습니다. 비틀즈의 미발표곡 'Now And Then'이 데모 테이프에 있는 존 레논의 목소리를 노이즈와 분리해 복원시켜 음원에 사용한 것으로 유명합니다. 너바나의 베이시스트 크리스 노보셀렉도 NME와의 인터뷰에서 미공개 곡에서 커트 코베인의 목소리를 분리해 사용하는 것에 대해 고려해 볼 만하다고 말했습니다.
자동으로 믹싱, 마스터링을 해결해 주는 서비스도 일부 출시됐습니다. RoEx는 올해 4월 'Mix Check Studio'라는 무료 믹싱 도구를 출시했다가 10월 'Automix'라는 이름으로 다시 출시했습니다. AI 마스터링 서비스를 제공하는 Masterchannel은 'SpatialAI'라는 공간 오디오용 마스터링 서비스를 출시했습니다. 국내에서도 WARP AI Mastering이라는 온라인 AI 마스터링 서비스가 등장했습니다.
DAW에 AI 기능을 넣고자 하는 시도도 있었습니다. DJ.Studio 2.0은 AI가 바로 믹스를 만들어 유튜브로 업로드할 수 있는 기능을 추가했습니다. Amped Studio는 클릭 몇 번으로 사전 설정하면 자동으로 AI가 만든 트랙들이 생성되는 기능을 구현했습니다. Hit'n'Mix의 RipX는 AI 기술을 기반으로 오디오와 미디를 모두 'Rip Audio' 형식으로 변환해 작업하는 최초의 'AI DAW'라고 합니다.
AI 기술 경쟁
대형 플랫폼들의 AI 기술 경쟁도 활발했습니다. Meta는 입력된 텍스트에 따라 음악을 만들어주는 MusicGen을 발표하고, 이를 AudioCraft라는 생성형 AI 모델에 포함시켰습니다. 구글도 MusicLM이라는 텍스트-음악 생성 AI 기술을 발표했습니다. 또한 구글의 자회사 DeepMind를 통해 유튜브에서 찰리 푸스, 존 레전드 등의 목소리를 활용해 AI 음악을 만들 수 있는 Dream Track 기능을 출시했습니다.
유튜브에 대해 조금 더 얘기해 보자면, 유튜브는 지난 8월 안드로이드 앱을 시작으로 AI가 사용자의 흥얼거리는 소리를 인식해 노래를 찾아주는 기능을 실험적으로 선보였습니다. 또한 9월 Made on Youtube 행사를 통해 크리에이터의 동영상에 적절할 음악을 제안해 주는 Creator Music을 출시할 계획이라고 밝혔습니다.
비교적 마이크로소프트는 음악 AI 분야에서 큰 두각을 드러내지 않은 것 같습니다만, 딥러닝과 인공지능을 활용한 AI 음악 프로젝트 'Muzic'을 진행해 오고 있습니다. 메타의 MusicGen과 구글의 MusicLM처럼 'MuseCoCo'라는 텍스트를 음악으로 변환하는 생성기를 개발하기도 했습니다만 소비자용으로 출시되진 않았습니다.
주목할 만한 또 다른 AI 음악 제네레이터로서는 Stable Audio가 있습니다. AI 이미지 제네레이터로 유명한 Stability AI가 오디오 분야에도 손을 댄 것입니다. 하지만 지난 11월 Stable Audio의 부사장이 회사의 비윤리적 AI 훈련 방식을 비난하며 사표를 내기도 했습니다.
AI와 관련된 투자와 소송
AI 기술이 아직 개발단계이므로 투자와 파트너십 체결도 활발했습니다. 워너 뮤직은 Siri의 공동 발명가 톰 그루버가 만든 AI 스타트업 'LifeScore Music'의 음반 레이블을 지원하기로 했습니다.
세계 3대 음악 레이블이자 가장 큰 규모를 자랑하는 만큼 유니버설 뮤직도 여러 곳과 AI 활용 관련 파트너십을 체결하고 있습니다. Youtube의 AI 인큐베이터 프로그램에 참여하기도 했고, 구글의 생성형 인공지능에 유니버설 뮤직 아티스트의 목소리나 멜로디를 합법적으로 사용할 수 있도록 라이선스를 부여하는 방안을 논의하기도 했습니다. 또한 케이크워크를 인수하고 음악 소셜 네트워크 Bandlab을 운영하고 있는 Bandlab Technologies와 전략적 AI 파트너십을 체결했습니다.
한편, 유니버설 뮤직은 OpenAI 다음으로 규모가 가장 큰 미국의 AI 스타트업 Anthropic에 저작권 침해 소송을 걸었습니다. 유니버설 뮤직은 Anthropic이 무차별적으로 데이터를 크롤링하면서 저작권이 있는 가사를 불법적으로 복사하고 배포했다고 주장했습니다. Anthropic은 아마존과 구글로부터 투자를 받기도 한 AI 회사입니다.
구글의 DeepMind가 개발하고 유튜브에서 사용되는 Dream Track에 워너 뮤직과 유니버설 뮤직이 참여한 것과 대조적으로, 소니 뮤직 아티스트들은 포함되지 않았습니다. Music Business World Wide의 보도에 따르면 소니 뮤직 또한 Dream Track 참여 제안을 받았으나, 아티스트들의 반응이 좋지 않았던 것으로 보입니다. 대신 AI 회사 Vermillio와 함께 '아티스트 주도적'인 생성형 AI 플랫폼을 실험한다는 계획입니다.
AI에 대한 규제
다른 산업계와 마찬가지로 음악계에서도 AI 사용에 대한 시선이 좋기만 한 것은 아닙니다. EU는 지난 6월 AI 기술을 보유하고 있는 거대 기업들이 AI 생성 콘텐츠에 대해 자발적으로 라벨을 붙일 것을 요청했습니다. 영국의 음악 제작자 협의회에서도 음악 AI를 위한 5가지 기본 원칙을 발표하며 AI로 인한 저작권 보장, 수익의 공정한 공유, 생성형 AI에 대한 투명한 공개 등을 촉구했습니다.
국내에서도 AI와 관련된 저작권 논의가 있었습니다. 지난 6월 황보승희 국민의힘 의원은 적법하게 진행된 경우 저작물의 복제, 전송 및 2차적 저작물 작성을 허용하고 복제물의 보관도 가능하게 하자는 내용의 저작권법 일부개정안을 대표발의했습니다. 한국음악저작권협회는 이런 면책조항 도입보다는 창작자 보호가 먼저라는 입장입니다.
그래미 어워즈를 주최하는 미국 음악 단체 '레코딩 아카데미'는 지난 6월 규정집을 개정하며 "수상 대상은 인간 창작자들뿐"이라는 입장을 내기도 했습니다. 다만 일부 AI의 도움을 받은 것은 인정할 수 있다고 했습니다.
아일랜드의 싱어송라이터 '호지어'는 BBC 인터뷰에서 "인간의 경험을 바탕으로 AI는 무언가를 창조할 수 없다. 그것이 예술의 정의에 부합하는지 모르겠다"고 언급하기도 했습니다. 인터넷에서 'AI 보컬 커버'로 많이 사용되고 있는 목소리의 주인공 에드 시런도 본인의 공연에서 "인간에게서 일자리를 뺏는다면 아마 나쁜 것이라고 생각한다. (AI가) 왜 필요한지 모르겠다"고 말했습니다.
반면 AI 사용에 적극적인 아티스트는 Grimes입니다. 그는 자신의 목소리를 활용한 AI 서비스를 출시하기도 했었습니다. 또한 디스코, 펑크 장르의 전설적인 프로듀서 나일 로저스는 지난 6월 Daily Star의 칼럼에서 AI 기술을 드럼 머신과 시퀸서에 비유하며 신기술에 대해 두려워하기보다 수용해야 한다고 주장했습니다.
'가짜' 보컬
AI가 음악에서 이렇게 큰 파급력을 미친 것은 가수의 목소리를 학습해 사용자들이 다른 노래에 가져다 사용하는 'AI 보컬 커버'의 영향도 큽니다. 유튜브에 검색해 보면 에드 시런, 더 위켄드, 브루노 마스 등의 AI 목소리로 만들어진 수많은 곡을 볼 수 있는데요. 특히 드레이크와 더 위켄드의 목소리를 사용한 'Heart On My Sleeve'가 큰 파장을 일으켰습니다.
'ghostwriter'라는 닉네임의 유저가 만든 이 트랙은 그래미 어워즈를 주최하는 레코딩 아카데미의 CEO 하비 메이슨 주니어가 "창의적인 측면에 관한 한, 'Heart On My Sleeve'는 인간이 썼기 때문에 절대적으로 (수상 대상에) 적합하다"고 언급해 화제를 끌기도 했는데요. 물론, 보컬의 사용에 대해 허가받지도 않았으며 정식으로 배포된 음원도 아니기 때문에 자격 대상이 아니라고 말했습니다.
특히 드레이크와 더 위켄드가 소속된 리퍼블릭 레코드의 모회사 유니버설 뮤직은 저작권 문제를 제기했습니다. 애플 뮤직, 디저, 타이달을 시작으로 스포티파이, 유튜브, 사운드클라우드, 틱톡에서도 원본 트랙이 삭제됐지만 많은 채널에서 유저들에 의해 재 업로드된 상황입니다.
AI를 이용한 보컬 서비스
아예 AI 보컬을 합법적으로 사용할 수 있게 하는 움직임도 있었습니다. Voice-Swap은 사용자가 자유롭게 AI 콘텐츠를 생성, 공유할 수 있는 플랫폼입니다. 음원 분리 및 프로덕션 툴 Moises Voice Studio도 지난 10월 라이선스가 부여된 11명의 보컬 음성 모델링 도구를 출시했습니다.
