소리가 데이터의 형태이자 콘텐츠 소비 방식으로 얼마나 접근 가능하고 민주적인지 처음 깨달은 것은 말레이시아에 있을 때였다. 운전기사의 휴대폰에서 흘러나온 선율이 엄마가 봤던 영상 속 선율과 같았는데, 언어 내레이션과 내용만 달랐다. 소리와 구술 의사소통에는, 그렇게 부르고 싶다면, 텍스트나 이미지만으로는 닿기 어려운 훨씬 더 많은 사회 계층에 닿는 무언가가 있다. 텍스트나 이미지는 어느 정도 교육과 훈련을 요구하는 경향이 있다. 나는 고등교육을 받았지만 사람들이 시각예술을 논의할 때 쓰는 -ism들에는 유창하지 않다. 하지만 소리는 그 점에서 가장 민주적이고 접근 가능한 매체에 가깝다.

그리고 소리는 너무나 많은 콘텐츠와 중첩을 품고 있다. 데이터 표현의 한 형태로 봐도 복잡도가 텍스트나 이미지의 몇 배라서 매우 흥미롭다. 내 반응은 대략 이렇다. 그냥 멀티모달로 주세요. 가능한 한 많은 종류의 데이터와 가능한 한 많은 데이터로 놀고 싶다. 그래서 팀의 예술가들이 내 RAVE 모델 훈련을 드럼 한 묶음으로 제한하라고 했을 때, 기술적 관점에서는 예술가에게 한 가지 색만으로 그림을 그리라고 하는 것처럼 느껴져 매우 이해하기 어려웠다. 하지만 감정적 관점에서는 그 말이 어디서 오는지 이해할 수 있다. 표본 크기 1은 특별하고 고유하며, 그 표본 크기 1은 예술, 문화, 나아가 사회적 세계 전반을 만드는 일에서 꽤 구체적이고 자연스럽다. 반면 내 관점에서는 drum A의 데이터 흐름과 drum B의 데이터 흐름이 하나이자 같은 것, A == B다. elsewhere에서 본 비슷한 우려이기도 하다:

OpenAI의 Jukebox 프로젝트가 함의하는 바가 불편하다. 장르와 아티스트 정보를 조건으로 삼아, 매우 큰 데이터셋(120만 곡)으로 일종의 “보편적” 음악을 모델링한다는 발상 말이다. 어떻게 각각의 음악 작품이 (모든 맥락에서, 모든 청자에게) 다른 모든 음악 작품과 의미상 동등한 것으로 간주될 수 있을까?

다행히 나는 GPU에 접근할 수 있어서 골라야 할 필요는 없었다. Google Vertex AI에 맞춤형 훈련 작업을 보내 병렬로 많이 돌리면 되겠다고 생각했다(최선을 다했지만 계속 실패했다 ZZZ)… 결국 이번 달 CoLab의 무료 GPU 시간을 전부 소진했고, 9000 epoch를 훈련한 모델 하나와 내 3070에서 로컬로 20000 epoch를 끝낸 모델 하나를 얻었다. 그리고 흰목물총새 소리가 말레이 드럼처럼 들리는 것을 듣고 이런 기분이 들었다. OMO, 이건 딥러닝으로 몇 주나 몇 달이 아니라 몇 시간 안에 어떤 악기든 디지털화할 수 있다는 뜻인가????

GPU 시간을 다 쓴 뒤 CoLab 노트북에서 CPU로 훈련하는 속도와, 가볍게 5배는 더 빠른 내 로컬 훈련 속도를 비교해보면 GPU가 풍족한 것과 부족한 것은 실제 차이가 있다.

RAVE Timbre Transfer to Neutone

패키지에 이미 들어 있는 게으른 구현 외에는 전처리를 전혀 하지 않았고, 추론 입력 데이터에는 배경 잡음이 있어서 여전히 이상한 디지털 신호가 나온다. 하지만 이것이 Google CoLab에서 무료로 제공되는 Nvidia T4 위에서 고작 229초의 Rebana와 Rentak 소리를 1000 epoch 동안 학습한 모델의 결과라는 사실은, 이전의 드럼 데이터 2시간으로 13시간 동안 39 epoch를 돌린 훈련과 비교하면 정말 말이 안 된다. 229초, 검증 데이터 포인트 1개, 오류 최소화만으로 드럼의 모든 미묘한 차이와 표현을 어떻게 이렇게 잘 배우는가!? A.I. 발전의 궤적은 인간의 척도에서는 상상하기 어렵다.

이 학습의 의미는 아래에서 ChatGPT에게 설명하게 하겠다.