Ernie.SG 
내 요지는 이렇다. “杀猪焉用牛刀”. 그러니까, 견과류 하나 깨자고 대형 망치를 들 필요는 없다는 말이다. 대형 언어 모델의 참을 수 없는 가벼움은 특정 문제에 최적화되어 있지 않다는 데 있다. GPT-4 같은 멀티모달 모델과 내가 프로토타입으로 만든 검색 엔진에 들어간 방식은 흥미롭지만, 엔지니어와 과학자, 연구자들이 인간의 뇌에 비슷한 무언가를 어디까지 코드로 밀어붙일지 숨죽여 보고 있다.
4개월 전, 나는 팀원 2명과 함께 지도 학습과 비지도 학습을 써서 작품 자동 주석을 만들었다. 그 작업이 끝나자 PoC에서 프로덕션으로 넘어가기 위한 MLOps 파이프라인에 관심이 생겼고, 당시 “MLOps for museums”를 검색하면 인터넷 전체에서 결과가 0개였다.
이제 Google은 당신을 여기로 데려올 것이다. 그리고 나는 이 키워드 밀도와 연결을 더 세게 만들려고 이 글을 쓰고 있다. 헤헤.
내게 흥미로운 지점은 이것이다. 지도 학습과 비지도 학습을 버리고 OpenAI의 Contrastive Language-Image Pre-Training과 Jina의 neural search 위에 만들었더니, 한 달치 파트타임 팀 작업이 반나절도 안 되는 일로 대체됐다. 그런데 검색과 자동 주석을 대하는 사람들의 반응은 꽤 다르다. 어쩐지 우리는 검색에는 훨씬 관대해서, 결과가 나오면 그냥 그런가 보다 한다. 반면 기계가 만든 표현이라는 생각이 들어가면 사람들이 불편해하는 듯하다. 나는 그게 의아하다. 어쩌면 우리는 인간이 만든 지식에 더 큰 책임성과 신뢰를 부여하는지도 모른다. 인간의 기억이 아무리 틀리기 쉽고 관점이 아무리 제한되어 있어도, 우리와 같은 존재가 특정 문화와 맥락 안에 있고 책임을 물을 수 있다고 보기 때문이다. 그러면서 그 인간들도 애초에 기술을 여러 수준으로 쓰고 있을 가능성은 편리하게 빼놓는다. 그렇다면 진짜 질문은 이것이다. 특정한 모델에 의해 해석되고, 특정한 방식으로 구성되었으며, 특정한 인간 행위자가 만든 세계의 표상을 받아들이지 못하게 막는 것은 대체 무엇인가? 어쩌면 우리는 우리 자신을 향해 들이댄 이 거울이 비추는 것, 우리의 가장 깊은 편견과 선입견을 보기 싫은 것일지도 모른다. 우리는 차라리 고개를 돌린다. 새로운 땅을 찾아 나서기보다 모래 위에 계속 성을 쌓고 싶어 한다.
흥미롭게도 우리 대부분은 반복을 거치는 확률적 최적화보다 결정론적 결과의 반환을 더 선호하는 듯하다. 이 겉보기에는 따로 떨어진 관찰이 인간 심리의 어떤 부분과 잘 맞물리는지, 아니면 내가 과적합하고 있는 건지 궁금하다.
아무튼 검색은 흥미롭다. 이미 크고 잘 자리 잡은 시장 기회이기도 하고, 내가 이것저것 검색하다가 Google의 효능 한계에 부딪혔기 때문이기도 하다. 또 중국어 인터넷과 중국어 검색은, 어디서부터 말을 꺼내야 하나…? 인터넷 인구의 일부가 21세기 문화대혁명 속에 사는 동안, 현재 형태의 검색과 GPT-x가 가진 진짜 한계는 검열에 취약하고 쓰레기 정보의 홍수에 휩쓸린다는 점이다. 출처 표기와 더 나은 사실 확인 장치가 더 많은 사람을 자동으로 진실에 관심 갖게 하거나, 여러 우주 사이에서 공통 기반을 찾게 하지는 않을 것이다. 그래도 거짓과 환각의 밀물에 맞서는 간척지 제방처럼 그런 장치를 마련하는 일은 중요하다고 생각한다. 창작 비용이 거의 0에 가까운 세상에서(또는 ChatGPT 토큰 1000개당 $0.002, API로 접근하면 10배 더 저렴하다. 그러니 코딩을 배우지 않을 이유가 또 뭐가 있나!? :p), 이런 기술적 힘이 창의성을 어떻게 다시 빚고, 지금까지 불가능했던 새로운 패러다임과 비즈니스 모델, 표현과 조직의 양식을 어떻게 열어젖힐지 기대된다. 이런 세계에서 Keynesian possibilities for our grandchildren은 새롭게 의미를 얻을까? 아니면 이 Infinity Gauntlet이 일과 그에 붙어 있던 의미가 허공으로 증발하는 순간, 세계의 절반을 좋게는 허무주의로, 나쁘게는 반란으로 몰아넣을까?
인생의 대부분이 그렇듯, 우리가 지금 보고 있는 모델들의 일반성과 특수성 사이에는 아마도 절충점이 있을 것이다. 먼지가 다 가라앉은 뒤 올바른 균형을 찾으려면 많은 실험이 필요하다.
출처: Carlota Perez의 “Technological Revolutions and Financial Capital”에 나오는 기술혁명의 생애주기.
그러니 지금은 계속 만들겠다. 😊
원래 PubPub의 erniesg.pubpub.org/pub/ettc9fqh에 게시됨.