기자명 김태영 기자 (kimkty0816@skkuw.com)
ⓒ서여진 외부기자webmaster@
ⓒ서여진 외부기자webmaster@


딥러닝 기술의 급격한 발전으로 AI 연주·작곡까지 가능해져
아직 AI 창작물 자체의 저작권은 인정받지 못하는 상황



AI로 되살려낸 목소리, 무대 위 다시 한번 울려 퍼지다
“거북이가 노래 부르는 모습을 다시 볼 수 있다니 꿈꾸는 것 같아요” 인간과 AI가 협업하는 시대, 무대 위에서 믿을 수 없는 진풍경이 펼쳐졌다. 지난해 12월 Mnet의 AI 음악 프로젝트인 ‘다시 한번’에서 거북이 터틀맨으로 활동했던 고(故) 임성훈의 생전 음원을 가창합성기술로 복원해 감동의 무대를 연출한 것이다. 그리운 목소리와 기술이 만나 13년 만에 선보인 거북이의 완전체 무대는 그를 기다린 팬과 가족, 멤버들의 눈시울을 모두 붉어지게 만들었다. 올해 방영한 SBS의 ‘AI vs 인간’에서도 고(故) 김광석의 목소리를 재구현한 AI가 가수 옥주현과 함께 듀엣 공연을 선보였다. 해당 방송에서는 프레디 머큐리의 목소리를 학습한 AI가 가수 정인의 ‘오르막길’을 부르는 등 이색 무대까지 등장했다. 서울대 지능정보융합학과 이교구 교수는 “가창합성기술은 AI에 가사, 멜로디와 함께 특정 사람의 생생한 목소리를 넣어주는 것”이라며 “가사에서 음절 단위로 음과 길이를 조정하며 어떻게 불러야 하는지를 훈련하게 된다”고 전했다. 이를 토대로 관객들이 원하는 가수의 목소리를 새롭게 구현해내 쉽게 가시지 않는 여운을 선사했다.

AI는 이제 가창을 넘어 새로운 멜로디를 연주하고 작곡하는 등 다양한 음악 활동에 참여하고 있다. 이는 딥러닝의 급격한 발전으로 가능해졌다. 딥러닝은 인간이 만든 수많은 데이터에서 일종의 규칙을 찾아내 학습하는 기술이다. 이러한 기술의 활용으로 AI가 음악 작업에 본격적으로 가담하면서 새로운 창작의 방식이 나타나고 있다.


AI 피아니스트, 아름다운 연주를 펼치다
연주자로 변모한 AI는 다양한 악기를 다루며 큰 화제를 모으고 있다. 지난해 8월, 쇼팽콩쿠르 우승자인 조성진의 연주를 학습한 AI는 그의 연주를 완벽에 가깝게 재현해냈다. 인간 연주자 없이 자동으로 연주되는 공연을 본 관객들은 놀라움을 금치 못했다. AI 피아니스트가 실제 연주와 비교했을 때 90%가 넘는 정확도를 보여준 것이다. 해당 공연을 진행한 한국과학기술원 문화기술대학원 남주한 교수는 “AI에 입력되는 연주 정보에는 △각 음표의 박자 △건반을 누르는 시간 △세기 △페달을 밟은 상태까지 포함된다”며 “한 번 학습이 끝나면 학습에 사용되지 않은 새로운 악보에 대해서도 연주할 수 있다”고 전했다. 이어 그는 “딥러닝 기반의 연주는 자동으로 곡의 빠르기, 셈여림 등을 파악해 새 연주를 생성해낼 수 있지만, 아직 전문 피아니스트의 연주에 비해 음악적 표현이 부족하다”고 밝혔다. 


클래식을 작곡하는 인공지능의 첫 등장
AI 작곡은 혜성처럼 음악 시장에 등장했다. 하지만 그 발자취를 되짚어보면 꽤 긴 시간을 거슬러 올라간다. 1955년 미국 일리노이대의 힐러와 아이작슨이 만든 ‘일리악’이라는 컴퓨터가 그 시초다. 일리악은 16세기 작곡가 팔레스트리나가 제시한 화성법에 맞는 음을 확률적으로 찾아 새로 구성하는 방법으로 ‘현악 4중주를 위한 일리악 조곡’을 완성했다. 당시 인간의 고유 영역이라 여겨졌던 작곡을 컴퓨터가 해냈다는 것은 사람들에게 큰 충격과 놀라움을 선사했다. 이후 2015년 예일대의 도냐 퀵 교수가 개발한 ‘쿨리타’는 알고리즘에 △리듬 △멜로디 △악기 편성 등을 학습시켜 새로운 곡을 만들어내며 관객들에게 좋은 평가를 받기도 했다. 쿨리타가 바흐의 곡을 학습해 만든 노래를 100명에게 들려준 결과, 대부분이 ‘사람’이 만든 곡이라고 인지했다. 

AI 작곡은 기존의 작곡 방식과 본질적인 차이가 있다. 보통 작곡가는 멜로디, 화음과 같은 음악적 요소를 자기 의지대로 조합해 새로운 원칙을 만들어낸다. 이에 비해 AI 작곡은 이미 만들어진 원칙에서 수학적 규칙을 찾아내 다량의 곡을 빠르게 생산한다. 한양대 작곡과 정경영 교수는 “베토벤이 화성법과 같은 음악적 관습을 만들어냈다면 AI 작곡은 이미 훌륭한 평가를 받은 관습에서 반복되는 패턴을 찾는다고 볼 수 있다”고 전했다. 


대중음악 시장에 뛰어든 AI 음악, 팝송부터 케이팝까지
초기의 AI 음악은 데이터가 많은 클래식 음악이 대부분이었지만 현재는 대중가요까지 넘나들며 영역을 크게 확장했다. 2017년 미국 가수 타린 서든은 세계 최초로 AI 작곡가인 ‘앰퍼’가 작업한 앨범으로 정식 데뷔했다. 앰퍼는 △리듬 △분당 비트 수 △분위기 등을 입력데이터로 활용해 앨범에 수록된 전곡을 만들어냈다. 국내에도 첫 AI 작곡가인 ‘이봄’이 등장했다. 이봄은 잔잔한 피아노곡부터 힙합, 케이팝과 같은 가요까지 다양한 장르의 음악을 아울러 작곡한다. 또한 엄청난 속도로 다작이 가능해 이론상 하루에 수천 개가 넘는 곡을 작업할 수 있다. 

AI 작곡가와 함께하는 라이브 공연이 큰 주목을 받기도 했다. 올해 5월, 마이크로소프트의 VR 공연 플랫폼에서 인공지능 ‘에이미문’이 만든 곡을 공개하고 이를 감상하는 메타버스 공연이 개최됐다. 가상공간 내에 접속한 관객들은 실시간으로 에이미문의 곡을 듣고 소통하는 특별한 시간을 가졌다. 이처럼 대중음악 시장에 나타난 AI 음악은 이전에 볼 수 없었던 새로운 콘텐츠를 생산해내며 그 영역을 넓혀가고 있다. 


일상으로 들어온 AI 음악, ‘누구나 쉽고 빠르게’
1인 미디어와 메타버스 시대를 맞아 AI가 만든 음악에 대한 수요가 늘어나고 있다. ‘1인 크리에이터’로 불리는 개인 창작자가 늘어나면서 브이로그나 가상공간에서 쓰일 다양한 배경음악을 찾으려는 소비자가 급증했기 때문이다. 이에 AI가 음악 시장에 새롭게 등장하며 누구나 AI 작곡가의 곡을 쉽게 받을 수 있게 됐다. 2019년 아마존은 AI를 이용해 고객 맞춤형 작곡이 가능한 연주용 키보드 ‘딥컴포저’를 선보였다. 딥컴포저는 이용자가 키보드로 장르를 정하고, 원하는 멜로디를 짧게 입력하기만 하면 몇 초 만에 다채로운 구성의 곡을 완성해준다. 광주과학기술원 전기전자컴퓨터공학부 안창욱 교수는 “사람이 만든 곡을 구매하는 것보다 훨씬 부담 없이 이용할 수 있고, 배경음악을 찾는 시간을 단축하면서 다양한 곡을 취사선택할 수 있는 것이 장점”이라고 전했다. 음악에 대한 전문 지식이 부족한 사람도 원하는 음악을 만들어내고 고를 수 있는 환경이 마련된 것이다.


AI 음악이 남긴 해결과제
AI가 믿을 수 없는 속도로 곡을 만들어내면서 음악 생태계가 점차 풍성해지고 있다. 하지만 기존의 데이터를 학습하는 AI의 창작물에 대해 표절을 우려하는 시선도 있다. 이 교수는 “결국 사람이 만든 데이터를 바탕으로 작업하기 때문에 표절 가능성이 없다고 단언할 수 없다”며 “그렇지만 현재는 자체적인 유사도 검사가 가능해져 표절의 위험성에서 대부분 벗어날 수 있는 상황”이라고 말했다. 이어 우리 학교 법학전문대학원 이해완 교수는 “AI는 법상의 권리를 지켜야 할 의무가 없기 때문에 법적으로 표절 시비가 붙을 확률은 낮지만, 사적 이익을 위해서 AI를 이용해 저작물을 복제 및 전파했을 경우 복제한 주체는 저작권 침해 책임을 지게 될 수 있다”고 전했다. 

저작권의 측면에서 AI 음악은 또 다른 한계에 부딪혔다. 현행법상 저작권은 ‘인간의 사상 또는 감정을 표현한 창작물’이라고 규정돼 AI에게 그 인간적 권리를 부여하고 있지 않기 때문이다. 현재 기술의 급속한 발전으로 AI가 만든 창작물이 늘어나면서 해당 창작물의 저작권 귀속 주체와 보호 기간에 대한 논의가 계속되고 있다. 이해완 교수는 “AI가 스스로 완전한 창작을 하게 됐을 때도 AI의 저작권이 보호되지 않는다면 창작자 보호 원칙에 반하는 것이 될 수 있다”며 “제한적인 범위 내에서 AI의 창작물을 누구의 권리로 인정할 것인가에 대한 법적 논의가 계속 진행되고 있다”고 전했다.

 

AI로 복원된 거북이 터틀맨의 무대.Mnet 공식 유튜브 계정 캡처
AI로 복원된 거북이 터틀맨의 무대.
ⓒMnet 공식 유튜브 계정 캡처