음악 작업에서 AI를 활용하는 방법

불과 몇 년 전만 해도 AI 기술은 실험적이고 다소 일상생활과 동떨어진 것으로 여겨졌다. 하지만 지금은 누구나 마음만 먹으면 바로 AI 도구를 사용해 볼 수 있을 정도로 접근성이 낮아졌다. 별도의 소프트웨어 설치 없이 인터넷 연결만 되어 있으면 이용할 수도 있는 AI도 있고, 무료에서 저렴한 가격의 구독 형태까지 다양한 AI 제품들이 나와 있기 때문이다.

음악에서도 이제 AI를 활용하는 것은 실험이 아닌 일상이 되어 가고 있다. 비록 인공지능 기업들이 개발하고 있는 최신의 AI 도구들은 누구나 사용하기는 어렵지만, 간단한 보조 도구의 형태로 활용할 수 있는 음악 AI 서비스들은 일반인도 쉽게 사용할 수 있다.

여기서 소개하는 AI 도구들은 인간의 일자리를 위협하는 수준의 AI가 아니다. 이 도구들을 이용한다고 음악을 매우 잘하게 되는 것도 아니다. AI를 이용하면 이전에는 긴 시간 동안 귀찮고 복잡한 작업을 통해 얻어낼 수 있었던 것들을 더 빠르고 편리하게 구할 수 있다. 즉, 이 AI들은 음악을 '더 좋게' 만드는 것이 아니라, '더 편리하게' 만드는 것이다.

ChatGPT

대화를 통해 사용자가 요구하는 정보를 답변해 주는 챗GPT는 거의 모든 산업 분야에 활용할 수 있다. 음악에서도 마찬가지로 챗GPT를 활용해 음악 작업을 쉽게 할 수 있다.

만약 리버브나 딜레이의 길이를 프로젝트 BPM에 싱크를 맞추는 대신, 밀리초 단위의 길이를 알아야 한다면 챗GPT에게 계산을 맡길 수 있다. 예를 들어 BPM 67.5에서 4분음표가 몇 ms인지 물어본다면 아래와 같은 계산을 거쳐 약 888.89ms라는 답변을 받을 수 있다.

BPM 120의 곡을 BPM 90으로 바꿔야 한다면 프로젝트의 BPM에 맞춰 타임 스트레칭을 할 수도 있지만, 수동으로 Playrate를 설정해야 한다면 어떻게 해야 할까? 챗GPT에게 "BPM 120을 90으로 바꾸려면 Playrate는 몇 배가 돼야 하는가"라고 질문할 수 있다.

이것은 '[바꿀 템포] 나누기 [원 템포]'의 간단한 수학 계산이지만, 더 복잡한 계산이 필요한 순간에도 유용할 것이다. 만약 자신이 예전에 '수포자'였다면, 이젠 누군가에게 간단한 수학 공식을 물어보는 것 때문에 창피해할 필요가 없다. 챗GPT는 그런 걸로 비방하지 않는다.

또는 어떤 정보를 조사하고 취합해 정리하는 것도 챗GPT의 도움을 받을 수 있다. 예를 들어, 안토니오 카를로스 조빔의 히트곡 10개를 찾아보려면 위키피디아의 디스코그래피를 보고 고를 수도 있지만, 챗GPT에게 물어보고 한 번에 답을 얻을 수 있다. 그리고 아래와 같이 영어 제목과 포르투갈어 제목을 정리해달라고 할 수도 있다.

• "The Girl from Ipanema" (Garota de Ipanema)
• "Out of Tune" (Desafinado)
• "Quiet Nights of Quiet Stars" (Corcovado)
• "Wave" (Vou te Contar)
• "No More Blues" (Chega de Saudade)
• "Waters of March" (Águas de Março)
• "One Note Samba" (Samba de Uma Nota Só)
• "How Insensitive" (Insensatez)
• "Meditation" (Meditação)
• "Sad" (Triste)

플러그인의 AI Assistant 기능

iZotope의 유명한 Ozone 시리즈에는 'Master Assistnat'라는 기능이 탑재되어 있다. 심층 학습 같은 고도의 AI 기술은 아니지만, 패턴 인식 및 데이터 분석으로 마스터링을 도와주는 AI 기능이다. 최근 영국의 음악 커뮤니티 Pirate.com에서 조사한 설문에서 뮤지션이 가장 많이 사용한 'AI 도구' 2위를 차지하기도 했다.

Ozone의 Mastering Assistant는 음악의 일부 구간을 재생하면 플러그인이 해당 구간의 레벨, 주파수 분포, 다이나믹스, 스테레오 필드 등을 분석해 보정한다. 예를 들어, 초보 엔지니어가 저음을 너무 많이 강조했다면, Ozone이 EQ로 저음을 깎아주는 것이다. 쉽고 빠르게 기초적인 수준의 마스터링을 만들어낼 수 있다.

똑같은 회사의 Neutron이라는 플러그인도 'Mix Assistant' 기능을 가지고 있다. 여기서는 마스터링이 아니라, 개별 트랙에 어떤 FX 효과가 필요한지 분석해 적용한다는 차이가 있다. 특히 어떤 부분에 공진음이 많은지 인식해 줄여줄 수 있어 유용하다.

또 다른 AI 플러그인으로 유명세를 가진 회사는 sonible이다. smart:EQ는 'Intelligent EQ'를 표방하며 AI 필터를 이용해 톤의 불균형을 자동으로 교정해 준다고 소개하고 있다. 그외에도 디에서, 컴프레서, 리미터, 리버브 등 다양한 종류의 smart: 시리즈 플러그인들이 AI를 활용해 자동으로 설정값을 조정해 주는 기능을 가지고 있다.

AI 작곡 도구

아래 도구들을 인간 작곡가 수준과 동등한 'AI 작곡가'라고 볼 수는 없다. 대신 가벼운 스케치나 색다른 아이디어를 제공해 주는 정도의 용도로 쓰인다.

싱가포르의 음악 기업 Bandlab은 처음에는 Cakewalk의 인수와 무료화로 유명세를 얻었지만 지금은 자사의 이름과 똑같은 'Bandlab' 어플로 계속 인지도를 쌓고 있다. Bandlab은 데스크탑, 모바일 환경에서 모두 호환되는 온라인 DAW에 SNS 기능을 더한 소프트웨어인데, 최근에는 'SongStarter'라는 AI 작곡 기능을 추가했다.

SongStarter에서는 어쿠스틱 팝, 앰비언트, 힙합 등 장르를 선택하기만 하면 자동으로 음악을 만들어 준다. 또는 텍스트로 특정 분위기나 감정 혹은 가사를 입력하면 그에 맞춰 트랙을 생성하기도 한다. 20초 정도의 이 짧은 루프는 Bandlab DAW로 불러와 악기를 추가, 변경하는 등 실제 곡으로 빌드업시킬 수도 있다. 그리고 무엇보다도 SongStarter는 무료다.

Amped Studio는 DAW 안에 AI Assistant라는 기능을 구현해놨다. 여기서는 SongStarter보다 좀 더 자세한 설정이 가능하다. 장르, 템포, 길이를 설정하면 그에 맞게 트랙들이 형성된다. AI기능은 유료지만 저렴한 편이다.

'최초의 AI DAW'라고 소개하는 RipX의 Hit'n'Mix는 조금 더 독특한 기능을 가지고 있다. 여기서는 모든 오디오, 미디 파일이 'Rip' 형식으로 변환된다. 그리고 AI 기술을 기반으로 음원 분리, 노이즈 제거와 같은 오디오 복원 및 정리 등의 기능을 DAW 안에서 모두 제공한다.

음원 분리

AI는 2채널 스테레오 트랙 안에 들어있는 다양한 오디오 정보들을 분석하고 개별적으로 분리하는 일에도 탁월하다. 이를테면 과거에는 스테레오 트랙 안에서 베이스 악기를 줄이고 보컬을 키우기 위해서는 이퀄라이저로 어렴풋이 악기들이 부각되는 음역대를 찾아 조작해야 했지만, AI를 활용하면 보컬 소리만 비교적 깔끔하게 분리해 소리를 키워줄 수 있다.

이 분야에서 많이 알려진 소프트웨어는 국내의 'Gaudio Studio'다. 따로 프로그램을 다운받을 필요없이 인터넷 브라우저에 파일이나 유튜브 URL을 입력하면 잠시 대기 시간이 걸린 뒤 악기들이 분리된다. 원본 음질이나 곡 스타일에 따라 차이가 있지만 드럼, 베이스, 보컬은 놀라운 수준으로 분리시킬 수 있다.

그외에도 LALAL.ai나 GOYO도 최근 AI 기술의 적용으로 등장해 유명해진 음원 분리 도구다. 포스트 프로덕션에서 주로 사용되는 iZotope RX의 Music Rebalance나 Acon Digital Acoustica의 Remix도 음원 분리 기능이다.

예전과 비교해서 정말 빠른 속도로 새로운 기술과 제품들이 쏟아져 나오고 있다. 필자는 다소 보수적인 편이라 옛날부터 쓰던 물건은 문제가 없으면 그대로 계속 사용하는 편인데, 조금만 눈을 돌려보면 이미 훨씬 편리하고, 빠르고, 저렴한 (또는 무료인) 도구들이 출시되어 있는 것을 목격하곤 한다.

그렇다고 매일같이 AI와 관련된 도구들을 검색해보고, 더 좋은 성능의 제품을 계속 찾아야 한다는 것은 아니다. SNS에서 말하는 소위 '개쩌는' 제품이 등장할 때면 '나만 안 쓰는 거 아니겠지?'라며 허겁지겁 다운로드 받을 필요도 없다. 아마도 그건 '뮤지션'보다는 '개발자'들의 역할이다.

뮤지션은 소비자로서 지금 내가 쓰기 좋은 도구에 집중하고, 관심이 가는 제품이 나오면 그때 한번 시도해보면 그만이다. 위에서도 말했지만, 지금 나온 AI 도구들이 '더 좋은' 음악을 만들게 해주는 것이 아니기 때문이다.