Ernie.SG 
02:42에 침대에 누워 이것보다 더 비수기일 수는 없겠지, 잠들기 전에 확인한다고 무슨 해가 있겠어, 라고 생각하며 휴대폰으로 GCP를 열고 A100 VM을 얻으려 했는데…
이건 전화 접속 인터넷 이전 시대보다 더 나쁘다. 그때도 집에 인터넷이 생기기 전에는 도서관에서 용돈으로 살 수 있는 만큼은 인터넷을 쓸 수 있었다. 알고 보니 초기 모델 훈련은 쉽다. 하지만 기술을 완성하고 마지막 한 끗을 밀어붙이는 일은 다르다. 나는 지금 같은 벽에 충분히 머리를 박아봤고, 이득 대비 고통의 비율이 너무 불균형해서 일단 피치와 쇼케이스 모드로 전환한 뒤, 나중에 다시 돌아와 제1원리에서 접근하려 한다. 논문을 읽고 모델 아키텍처 수준까지 들어가는 식으로. 어쨌든 GPT-4로 코딩하면서 목요일에 Chainlit과 Ngrok으로 “The Sound of Stories”를 모든 기기에 배포할 수 있었던 점은 정말 좋았다. 금요일 밤 사용자 테스트에서 다중 사용자 문제를 만났고 Chainlit UI가 사람들이 쓰기에는 정말 둔하다는 것을 알아차린 뒤에는 Flask 백엔드가 서빙하는 WhatsApp 위에 올렸다. 토요일 아침에는 더 찾아보다가 FastAPI와 Uvicorn이 훨씬 성능이 좋고 비동기 메서드와 검증을 처리할 수 있다는 사실을 알게 되었다. 내게는 중요한 차별점이었다. 왜냐하면:
-
왜 기다려야 하지
-
데이터 엔지니어링의 90%가 타입 검증을 고치는 일, 더 정확히는 나 말고 다른 출처에서 오는 타입 검증의 부재를 고치는 일이라는 것에 대해 말해보라… :)
아래 데모는 모두 내 휴대폰으로 실시간 녹화한 것이다. 여기저기 눈에 띄는 지연은 아직 있다. 프로덕션 환경에서는 전부 고칠 수 있는 것들이다. 전반적으로는 우리가 만들어온 진전과 지금까지 배운 것들에 꽤 만족한다. 나는 프로젝트와 커미션을 내 시간을 생산적으로 쓰도록 만드는 forcing function으로 보는 편이다. 여가 시간을 여기에 쓰지 않았다면 아마 게임을 하거나 Netflix를 보고 있었을 테니… 괜찮다. 아래에는 A.I.와 LLM으로 만들며 얻은 배움과 생각을 정리해보겠다.
The Sound of Stories WIP (Mobile)
이번에는 다르다
정말 그렇다. 그래서 이것만으로도 독립 글 하나가 필요할 정도다. 지금의 큰 요약은 이렇다. 인류 역사상 처음으로 우리는 지능을 상품으로 만들고 있다. 도구를 쓰는 동물인 우리가 사회적으로 A.I.를 효과적으로 활용할 수 있다면, 나는 그것이 암을 치료하거나 무한한 청정 에너지에 도달하는 열쇠일 수도 있다고 진심으로 생각한다. 그것은 위대한 평준화 장치가 될 수 있고, 모든 인간에게 각자의 Jarvis나 Gundam을 주어 삶 속 여러 역할을 맡기게 할 수 있다. ChatGPT는 어느 정도 철학적 생각을 비춰보는 상대가 되었고, 때로는 놀라울 만큼 치료적인 논리학자, 만능 튜터, 도움이 되고 열심이지만 지나치게 장황한 도우미, 아무것도 모르는 인턴, 그리고 무엇보다도 내 생각의 확장이 되었다. 내가 이미 가진 것보다 더 많은 팔과 지식, 정보 접근권을 인공적으로 준다. Gemini 1.5, Groq, Sora가 우리에게 어떤 새로운 능력을 풀어줄지 너무 기대된다.
혁신에는 개방성이 필요하다. 끝.
이와 관련해 몇 가지 개인적 일화가 있다. 첫째, 나는 2022년 7월 GPT-3 early developer access를 가지고 있었고, 그것으로 Xi Jinping에 대한 랩을 쓴 뒤 사실상 더 이상 쓰지 않았다. ChatGPT가 공개 출시되고, 전 세계의 수많은 사람들이 갑자기 폭발적으로 탐색하기 전까지는 그랬다. 그때서야 나는 그들의 실험에서 이득을 얻고 ChatGPT를 효과적으로 쓰는 법을 배울 수 있었다. 이 작은 일화는 예정된 사용자 테스트 며칠 전 내 코드가 깨졌던 사건과도 이어진다. 내가 손이 근질거려 virtual environment를 지웠기 때문이다. Docker 배포를 위해 모든 것을 제대로 설정하려던 중이었고, LangChain <> OpenAI <> Chainlit 사이의 온갖 의존성 충돌을 정말 손으로 하나씩 정리하고 있었다… 너무 답답했다. 작동하는 버전 번호를 자동으로 찾아주는 쉬운 방법이 없었고, 2천만 달러 투자를 받은 소프트웨어가 2023년 11월 7일에 나온 OpenAI 1.0.0에 아직 업데이트되어 있지 않다는 점도 어처구니없었다. 어쨌든 결국 작동하게 만들었지만, 그 고통은 다시는 겪고 싶지 않다.
GPT-4가 다운되는 날은 내가 덜 생산적이라고 느끼는 날이다. 그래서 M2 Max에서 로컬 LLM을 돌렸고 Gemini Advanced를 구독하려고 계속 시도해왔다(to no avail zzz). 경쟁, 대안, 오픈소스는 혁신에 좋다. 그것들이 회사에 압박을 주어 규제 포획이나 지대 추구 대신 계속 혁신하게 만들기 때문이다.
좀 더 기술적인 측면에서는 CI/CD, Docker, 마이크로서비스 아키텍처를 확실히 더 단단하게 이해하게 되고 있어 재미있다. 또한 소비자에게 직접 도달하기 위해 WhatsApp과 WeChat mini-programmes 위에서 더 확장해보고 싶다. 다음 업데이트에서는 Google CoLab에서 무료로 자신만의 RAVE 모델을 훈련하는 방법에 대한 튜토리얼을 녹화하고, 기술적으로 배운 점을 더 자세히 풀어볼 계획이다.
원래 PubPub에 erniesg.pubpub.org/pub/7b4nk0ao로 게시되었습니다.