온라인 AI 마스터링, WARP Mastering 리뷰

1. 음악 작업에 쓰이는 AI 기술

2. 마스터링은 단순해서 AI로 할 수 있다?

3. 온라인 AI 마스터링, WARP Mastering

6. 결론

음악 작업에 쓰이는 AI 기술

이미 음악계에 'AI'라는 용어가 도입된 지는 꽤 오랜 시간이 지났다. 하지만 근래 '챗GPT'의 등장으로 모든 산업 전반에 인공 지능이 화두가 된 만큼, 음악계에서도 AI에 대한 관심은 어느 때보다 뜨거운 것 같다.

특히 믹싱 및 마스터링 분야에서는 AI 및 자동화 기술이 널리 알려져 있다. 대표적인 케이스로 iZotope의 제품들이 음악을 듣고 파악해 적합한 EQ, 컴프레서, 세츄레이터, 맥시마이저 등의 작업을 해주고 있으며, sonible 사의 'smart:' 시리즈 또한 음원을 분석해 적합한 플러그인 셋팅을 맞춰주는 기능을 제공한다.

하지만 AI 믹싱, AI 마스터링에 대해서 아직까지는 "그래도 사람이 하는 게 낫다"는 평이 지배적이다. 곡마다 악기 편성과 작·편곡의 의도, 믹싱 엔지니어와 클라이언트의 취향이 모두 다른데 AI가 사람만큼 능동적으로 이 차이들을 해결해 나가진 못하고 있다.

물론 챗GPT가 방대한 데이터를 기반으로 인공 지능에 대한 긍정적인 평가를 이끌어 냈듯이, 음악 분야에서도 더 다양한 데이터가 쌓인다면 AI 작업에 획기적인 성능 개선이 이루어질 것이라 본다. 다만 아직은 다른 산업 분야만큼 수준엔 미치지 못했다.

그나마 가장 AI, 자동화 기술이 유용하게 활용되고 있는 분야라면 '마스터링'이 있다. 아무래도 마스터링은 믹싱에 비해 덜 주관적이고, 정형화된 공식이 있다는 인식이 있기 때문인 듯하다.

마스터링은 단순해서 AI로 할 수 있다?

우선 마스터링의 정의를 한번 짚어보자. 원래 마스터링이란 최종 믹스를 바이닐이나 테이프 같은 저장 장치에 카피하는 작업을 뜻한다. 제법 단순한 작업같지만 안정적으로 음원을 장치에 저장하고 여러 환경에서 일관된 음질로 재생되도록 해주는 중요한 과정이다.

음원 유통이 디지털 CD를 거쳐 대부분 온라인 스트리밍으로 변하면서 음원들은 여러 시대, 여러 장르, 여러 아티스트와 실시간으로 경쟁하게 됐다. 청취자들이 다양한 음악을 언제든 불러와 번갈아 듣게 되면서 내 음악이 음색과 볼륨에 있어서 큰 차이가 나지 않도록 해야 했다.

따라서 옛날 음원들은 '리마스터링'되기도 하고, 신곡들은 '라우드니스 워'(소리가 클수록 좋다는 생각에 너도나도 음압을 올리는 경쟁 상태)에 들어가기도 했다.

고로 현재 마스터링이란 믹스를 음원으로 발매하기 전 음색 및 볼륨에 있어서 문제가 없는지 체크하며, 아티스트의 의도와 음원 시장의 스탠다드 사이에서 적정치를 조율하는 행위가 됐다.

마스터링은 아티스트의 창의성 및 주관이 많이 반영되는 작곡이나 믹싱보다는 비교적 단순한 목적을 갖고 있다고 볼 수 있다. 마스터링 분야에 AI가 더 많이 도입된 것도 그런 이유라고 본다. 물론 그렇다고 마스터링이 획일화된 작업은 아니다. 마스터링에도 아티스트의 의도와 엔지니어의 판단이 들어간다.

AI 마스터링은 나름의 몇 가지 장점을 가지고 있다. 우선 숙련되지 않은 아티스트가 직접 마스터링을 하는 것보다 더 무난하고 평범한, 즉 '안전한' 결과를 만들어 낼 수 있다. 빠르게 많은 마스터링 작업을 수행할 수 있는 것도 장점이다. 그리고 일정 부분은 AI의 제안을 받고 디테일한 마무리는 사람이 하는 협업도 가능하다.

온라인 AI 마스터링, WARP Mastering

WARP Mastering은 몇 안 되는 국내 온라인 AI 마스터링 서비스 업체다. "기본적으로 아무것도 모르는 사용자라 하더라도 프로 수준의 결과물을 얻는 것, 그리고 숙련된 사용자라도 가볍게 최종 결과물을 확인하는 용도"를 목표로 개발됐다. 본지는 WARP Mastering 측으로부터 테스트 계정을 제공받아 직접 AI 마스터링을 시도해 봤다.

우선 회원 로그인을 한 뒤, Mastering 메뉴에 들어가면 자신의 믹스 파일을 업로드할 수 있다. 200MB 이하의 wav, aiff 파일을 올릴 수 있다.

일단 서버에서 마스터링을 진행하면 'Balanced' 모드로 만들어진 마스터가 생성된다. 여기서 'Punch', 'High-boost' 옵션으로 바꿔볼 수 있으며 원하는 레퍼런스 곡을 올리는 것도 가능하다.

또는 Customize 버튼을 눌러 Gain, EQ, Compressor, Stereo Width 4가지 컨트롤을 직접 수정할 수도 있다. 수정된 옵션은 하단의 Remastering 버튼을 누르면 잠시 프로세싱 시간을 기다린 후 확인할 수 있다.

첫 마스터 결과와 Remastering된 결과물들은 Library 메뉴에 저장된다. 여기서 각 마스터 파일들을 wav나 mp3 파일로 받을 수 있다.

WARP Mastering의 가격은 현재 할인된 가격인 월간 32,900원(정가 47,000원) / 연간 119,000원(정가 170,000원) / 1회 작업 7,000원(정가 10,000원)이다.

또한 WARP Mastering은 음원 마스터링 뿐만 아니라 오디오북 및 영상 작업에도 사용할 수 있다. AI가 자동으로 콘텐츠 타입을 인식해 오디오북이나 영상의 경우 노이즈를 제거하고 마스터링까지 진행한다.

마스터링 샘플

간단한 비트와 밴드곡(온고(ONGO) - Triblues), 나일론 기타와 보컬로 구성된 어쿠스틱곡(이서영-낙원)으로 믹스 상태와 WARP Mastering에서 마스터링한 결과물을 비교했다.

1. 간단한 비트

mix

WARP Mastering (Balanced / Gain, Compression, EQ, Stereo image Normal)

2. 밴드곡

mix

WARP Mastering (Balanced / Gain Loud / Stereo image Wide)

3. 어쿠스틱곡

mix

WARP Mastering (High Boost / Gain Loud / EQ Normal)

WARP Matering의 특징

기존의 온라인 마스터링 사이트로 유명한 LANDR이 음색과 볼륨만 설정할 수 있었던 것과 비교해, WARP Mastering은 볼륨, 음색, 컴프레션, 스테레오 필드까지 4가지 영역을 커스터마이즈 할 수 있다는 차이점이 있다.

WARP Mastering은 일반인을 대상으로 누구나 쉽게 마스터링 결과를 만들 수 있는 것이 목표라고 한다. 실제로 손쉽게 충분히 큰 소리로 라우드니스를 확보하는 것이 가능했다.

하지만 주파수 밸런스가 불균형하거나 공진음이 제대로 잡히지 않은 믹스의 경우 처음으로 제안되는 결과물에서는 소리가 깨지는 현상이 종종 있다. 개인적으로 Customize에서 Gain을 Normal로 맞춰야 안전한 결과를 받을 수 있었다. 사이트에서도 -3db 정도의 헤드룸을 확보하라는 조언을 볼 수 있었다.

좋은 마스터링은 좋은 믹스에서 나온다는 변함없는 사실은 인간 엔지니어나 AI 엔지니어나 동일했다. 다만 아직 AI는 사람만큼 능동적으로 문제에 대처하는 능력이 부족했다.

sebastian pociecha 86scmOcEJRA unsplash — 마스터링에 쓰이는 하드웨어 장비들의 모습.

Customize 설정들은 꽤 다양한 단계로 조작할 수 있지만 아주 극적인 변화를 주진 않는다. 원래 마스터링 작업은 믹싱과 달리 이퀄라이저나 컴프레서가 극적인 변화가 아닌 약간의 보정 작업에 그치는 것이 정상이다.

하지만 일반인을 대상으로 하는 마스터링이라면 좀 더 극적인 변화를 주는 것도 어떨까 생각이 든다. 물론 이렇게 되면 믹스 버스 프로세스와 마스터링 중간 어딘가에 위치하게 될 것이다. 인공 지능 기술이 보다 광범위한 데이터를 수집하고 더욱 정교해진다면 이런 솔루션이 등장하지 말라는 법은 없다고 본다.

결론

분명 AI 기술은 발전하고 있다. 모든 산업 분야에서와 마찬가지로 AI에 대한 평가는 현재 나타난 결과물보다는 발전하는 속도로 평가하는 것이 정당하다고 생각한다.

아직까진 AI 마스터링이 어떤 믹스든 바로 발매 가능한 마스터 결과를 만들어 주진 않는다. 이는 LANDR이나 iZotope Ozone도 마찬가지다. 아티스트 고유의 입장을 믹스에 반영하면서 밸런스를 다듬는 역할은 인간의 손에 남아 있다. 여전히 믹싱이 마스터링보다 중요하다는 사실은 변함이 없다.

따라서 '마스터링'이라는 작업의 본래 의미를 다시 생각해 본다면 AI 마스터링의 미래는 마스터링 이전의 작업들, 즉 믹싱, 레코딩, 작곡에 달려있다고 볼 수 있지 않을까? 혹은 AI의 발전 속도를 보면 믹싱&마스터링 통합 솔루션이 나오는 것도 이상하지 않으리라 본다.

글 박찬울