세상의 거의 모든 문제를 X에서 Y, 또는 ŷ로 가는 매핑으로 바꿀 수 있다는 사실에는 묘하게 깊은 아름다움이 있다. 예술이든, 음악이든, 핵융합이든 아무 문제나 골라보라. 더 많은 지능은 대체로 더 낫다. 악과 악의적 행위자의 문제는 우리가 풀어야 한다. 그래도 삶의 많은 영역에서 우리는 자기 추정의 전제를 따져 묻기보다 남에게 돌을 던지는 데 더 빠르다. 그렇게 말해도 크게 틀리지는 않을 것이다. 그러니 어쩌면 A.I.가 더 공정한 심판자가 될 수도 있지 않을까…?

어쨌든 이것은 매주 사전 가정을 다시 보고, 앞으로 지어 나가야 하는 기초 기술이다. 10배, 1000배 더 싸고 빠르고 나아질 미래를 향해 만들어야 한다. 솔직히 나는 아직도 이걸 온전히 이해한다고 말할 수 없다. 다만 제1원리에서 A.I.를 배우고 적용하는 가장 좋은 방법은 직접 해보고, 빠르게 반복하고, 내가 이미 아는 것과 연결하고, 가능하면 아직 아무도 차지하지 않은 영역을 탐색하는 것이라고 느낀다.

그래서 나는 작고 분산된 모델 쪽에 관심을 갖게 되었다. GPU에 접근하는 것이 불가능에 가깝기 때문이다. 세상의 큰 플레이어와 회사들이야 당연히 이미 인스턴스를 다 찜해뒀고, 소비자에게는 물 한 방울도 남지 않은 느낌이다. 작은 모델에 관심이 가는 또 다른 이유는, 64GB 통합 메모리를 가진 M2 Max에서도 작은 Mixture of Experts 모델을 훈련하려고 하면 메모리가 부족하다는 메시지가 뜨기 때문이다. 이제 그 작업이 마침내 끝났으니, 이 장난감 같은 모델에 전문가와 데이터를 더 얹어서 내가 중국어로 하고 싶은 일에 쓸 만한 수준까지 끌어올릴 수 있을지 궁금하다.

M2 Max에서 실행한 MLX MoE 추론