'공간 음향 더 빨리 보편화될 것' AI 기술로 손쉽게 공간 음향 제작하는 오디오가이 'AI360'

어렸을 때 63빌딩에 있는 아이맥스 상영관에 갔던 기억이 있다. 아이맥스 영화는 당시 일반 영화와 비교할 수 없는 고화질, 고음질로 주목받았으나, 제작 과정이 비싸고 까다로웠기 때문에 주로 자연 다큐멘터리만 만들어졌었다. 따라서 당시 필자가 좋아했던 '쥬라기 공원'의 티라노사우르스는 아이맥스로 볼 수 없었고, 웬 탄광에서 수레 차를 타고 돌아다니는 영화만 봤던 기억이 남아 있다.

비슷하게 음악에는 '공간 음향'이라는 기술이 있다. 공간 음향은 여러 방향에서 소리가 전달되는 느낌을 만들어 주는 3차원 음향으로 제작 및 재생 방식이 기존 스테레오 환경과는 다르다. 그래서 아직 스테레오 환경에 친숙한 많은 음악인들에게는 '나와는 별 상관없는 이야기'로 여겨지기도 한다.

하지만 점점 아이맥스나 공간 음향 같은 신기술은 보편화되는 추세다. 이미 많은 K-POP 음악이 '돌비 애트모스' 공간 음향으로 제작되고 있으며, 일반 스테레오 2채널 재생 환경에서도 공간 음향 효과를 느낄 수 있도록 '다운믹스' 기능이 지원되는 스마트폰, 이어폰, 헤드폰 등의 제품도 많다. 윈도우 10에서도 '돌비 엑세스' 앱을 통해 공간 음향 효과를 이용할 수 있다.

또한 최근에는 여러 개의 믹스 스템으로 제작해야 하는 기존의 공간 음향 제작 과정에서 AI 기술을 활용해 스테레오 음원도 공간 음향 음원으로 재탄생시킬 수 있는 기술이 등장해 눈길을 끈다. 레코딩 스튜디오이자 음악 레이블인 오디오가이(대표 최정훈)는 아시아 최초로 돌비 애트모스 입체음향 스튜디오 '사운드360'을 설립하고, AI 음원 분리 기술을 이용해 공간 음향을 제작하는 'AI360' 서비스를 제공하고 있다.

AI360 서비스에 대한 간략한 소개를 부탁드립니다.

2021년 돌비 애트모스 뮤직 전용 스튜디오 사운드360을 설립한 이후 참 많은 작업을 해왔습니다. 신보들의 경우 현재 스테레오 믹싱, 마스터링과 동시에 바로 개별 악기들이 분리된 스템 파일을 확보할 수 있어 공간 음향 제작이 수월하지만, 문제는 과거에 발매된 음악들이었습니다.

오래전 제작된 음악들 중에도 지금까지 많은 분들에게 변함없는 사랑을 받고 있는 음악들이 많은데요. 돌비 애트모스(공간 음향) 신기술은 오래된 음악들에 대한 새로운 음악적, 음향적 경험을 제공할 수 있다고 생각합니다.

북미 회사들의 경우 오래전부터 스템 파일의 보존 등 아카이브 작업이 잘 되어있지만, 국내의 경우 오래된 가요 음원들은 대부분 멀티트랙을 보유하고 있지 않은 경우가 많았습니다.

이러한 문제를 해결하기 위해서 AI360 서비스를 개발, 런칭하게 되었습니다. 옛날 음악에서 단순히 보컬만 분리하는 것을 넘어서, 딥러닝을 통해 드럼과 보컬, 기타, 건반 등 다양한 악기들의 음원 분리를 1차로 하고. 그 음원들을 세부적으로 조작해 돌비 애트모스 믹싱 작업을 진행하고 있습니다.

이전에도 스테레오 파일을 공간 음향으로 제작하는 '업믹싱' 방법이 있었는데, AI360과는 어떤 점이 다른가요?

저희도 초반에는 Nugen HALO 같은 제품으로 스테레오 음원을 업믹싱해 공간 음향 음악으로 제작하는 것을 시도한 적이 있었습니다.

'공간 음향 더 빨리 보편화될 것' AI 기술로 손쉽게 공간 음향 제작하는 오디오가이 'AI360' 3 — 사진=Nugen

이런 경우 스피커로 들었을 때는 '생각보다 괜찮다'라고 생각할 수 있지만, 바이노럴로 변환된 헤드폰이나 이어폰으로 들어보면 위상 등의 문제가 있는 경우가 많습니다. 특히 돌비 애트모스 음원을 듣는 소비자의 90%는 헤드폰이나 이어폰으로 듣기 때문에 문제가 됩니다.

하지만 가장 큰 단점은 스테레오에서 돌비 애트모스로 업믹싱되는 과정에 창작자의 의도가 포함되지 않는다는 것입니다.

실제로 저희 사운드360에서는 돌비 애트모스 믹싱을 할 때 보컬과 효과음의 배치 및 패닝, 밸런스 등 다양한 요소에 대해 작곡가나 프로듀서, 엔지니어 및 A&R팀과의 피드백이 진행됩니다.

하지만 스테레오에서 단순히 업믹싱된 음원은 이런 작업이 불가능하기 때문에 창작자의 의도가 포함되지 않은 결과물이 나오기 쉽습니다.

기존 돌비 애트모스 믹싱 과정과 비교해 보면 AI360의 장점은 무엇이 있나요?

음원을 마스터링할 때 리미터를 비롯해 여러 가지 프로세서들이 사용되는데요. 마스터링한 스테레오 음원과 믹싱 세션에서 바로 추출된 스템으로 작업한 돌비 애트모스 결과는 다소 음색 차이가 있습니다.

하지만 AI360은 마스터링이 된 스테레오 음원에서 트랙들을 추출, 분리해 사용합니다. 따라서 공간 음향 음원에서 이질감을 많이 느끼셨던 분들도 보다 친숙함을 느낄 수 있지 않을까 생각합니다.

또한 딥러닝을 통해 더욱 정교한 음원 분리가 가능해지면 작업자 입장에서 스템 파일을 만들어 전달하는 등의 번거로운 시간을 크게 줄일 수 있다는 것도 AI360만의 장점이 될 것입니다.

오디오가이는 예전부터 공간 음향 분야에 많은 노력을 기울이고 있는 걸로 아는데요. 향후 음악계에 공간 음향이 어떤 영향을 줄 것이라 보시는지요.

저희는 2010년도부터 음악 재생 환경이 기존의 스피커에서 헤드폰과 이어폰으로 변화하는 것을 보면서 바이노럴 음반을 기획, 제작했었습니다. 2012년에는 국내 최초 바이노럴 레코딩으로 만들어진 '조정아 김죽파류 가야금산조' 음반을 발매하기도 했습니다.

이후 '재즈 인 서울 3D 서라운드 로드쇼'와 같은 3D 사운드 관련 음원 및 공연을 꾸준히 제작해 왔습니다. 최근에는 시각장애인 예술단체 한빛예술단과 함께한 입체 음향 콘서트를 비롯해 작년 10월 부산아시아드 경기장에서 있었던 BTS 공연까지 돌비 애트모스 라이브 스트리밍을 성공적으로 진행하기도 했습니다.

sound360fe — 사운드360에서 진행한 공간 음향 작업들 (사진=사운드360 홈페이지)

앞으로 공간 음향은 애플에서 곧 출시 예정인 혼합 현실 헤드셋 애플 비전 프로와 같은 새로운 디바이스들에 확실히 기본으로 탑재될 것이라고 봅니다. 또한 올해 말부터는 벤츠 등 차량에서도 돌비 애트모스 음원 청취가 가능해집니다.

지금은 제작 과정도 스테레오 믹싱을 먼저 한 뒤 스템 파일을 추출해서 돌비 애트모스 믹싱을 하고 있지만, 슬슬 미국 쪽에서는 돌비 애트모스 믹싱을 먼저 하고 그 세션에서 스테레오 다운믹스를 통해 스테레오 음원을 제작하는 분위기로 바뀌고 있다고 보입니다.

이제 본격적으로 스테레오 음향이 공간 음향으로 바뀌는 시대가 오고 있습니다. 음원뿐만 아니라 공연을 비롯해 우리의 일상생활에서도 공간 음향이 더욱더 빠르게 보편화될 것입니다.

국내에서 AI360을 이용해 공간 음향으로 제작된 음원은 어떤 것이 있는지 궁금합니다.

최근에는 릴보이, 원슈타인의 'Circle'이라는 곡의 기존에 스템 파일로 작업한 버전을 다시 AI360으로 만들었습니다. 그 외 여러 기획사, 플랫폼 등에서 AI360에 관심을 보이고 있어 상당히 많은 작업들이 진행되고 있습니다.

우선은 AI360 기술을 통해 보다 많은 음원들을 돌비 애트모스 버전으로 재창조시키는 것에 집중하고 있습니다. 올해 말부터는 상당히 많은 결과물을 들어볼 수 있으리라 생각합니다.

이미 시중에 AI 기술으로 보컬 및 악기를 분리하는 서비스가 있지만 아직 음질 면에서 완벽하지는 않습니다. AI360으로 분리된 음원에는 이런 문제가 없을까요?

현재 오픈소스 프로그램으로도 쉽게 음원 분리를 해볼 수 있지만 WAV가 아닌 MP3로만 추출이 된다던가, 혹은 모바일 환경에서만 이용할 수 있는 등 체험적인 기능에 국한되어 있는 경우가 많습니다. 하지만 가장 중요한 것은 얼마나 많은 데이터를 지니고 딥러닝을 통해 고도화된 결과를 낼 수 있는가라는 부분입니다.

다행히 사운드360은 지금까지 1,000곡이 넘는 K-POP 돌비 애트모스 작업을 통해서 충분한 딥러닝 데이터를 보유하고 있습니다. 이런 점에서 기존의 음원 분리 기술에 비해 확실한 차별점을 지니고 있습니다.