Ernie.SG 
世界のほとんどあらゆる問題が、X から Y、あるいは ŷ への写像として捉え直せる。そのことには、かなり深い美しさがある。芸術でも、音楽でも、核融合でもいい。好きな問題を選べばいい。知能は多い方がだいたい良い。悪や悪意ある行為者の問題はもちろん解かなければならないが、人生の多くの場面で、私たちは自分の思い込みの前提を疑うより、他人に石を投げる方が早い。そう言っても不合理ではないと思う。だから A.I. は、まだより公平な裁定者になり得るのかもしれない……？
いずれにせよ、これは基礎技術だ。この領域では毎週、自分の事前判断を見直しながら前に作っていく必要がある。10倍、1000倍、安く、速く、良くなる未来に向けて作る。正直、私はまだこれを理解できている気がしない。それでも、第一原理から A.I. を学び、応用するいちばん良い方法は、実際にやってみて、素早く反復し、自分がすでに知っているものに接続し、できればまだ誰も取りに行っていない領域を探ることだと思っている。
だから私は、小さく分散したモデル全般に興味を持つようになった。GPU へのアクセスが無理ゲーすぎるからだ。世界中の大きなプレイヤーや企業は当然すでにインスタンスを CHOPE 済みで、消費者にはしずくほども残っていない。小型モデルに興味があるもう一つの理由は、64GB のユニファイドメモリを積んだ M2 Max でさえ、小さな Mixture of Experts モデルを訓練しようとするとメモリ不足の表示が出るからだ。ようやくそれが終わった今、この玩具みたいなモデルに専門家とデータをもっと突っ込んで、中国語でやりたいことに使える水準まで持っていけるのかを考えている。
M2 Max 上での MLX MoE 推論
小型でローカルに動く言語モデル
ローカル言語モデルの問題が自分の中で本当に前面に出てきたのは、GPT-4 も、この玩具モデルでさえも、中国語ではどれほどひどいかを見たときだった。良い知らせは、試してみた中国語 LLM の中に、使えるものがあったことだ。だから、その蓄積の上に十分機能するモデルを作ることはできるはずだと、私はかなり確信している。以前、人のために翻訳や文字起こしの実験をしていたので、他の ASEAN 言語では状況がどうなるのかにも気になっていた。そこでは、使える品質までの距離がずっと遠く感じられる。A.I. に満ちた世界で、ローカルな文化や言語はどうなるのだろう。世界のコンテンツ、知識、情報が、世界の一部に集中した少数の大企業によって生成されることを、私たちは本当に望んでいるのだろうか。
どんな形であれ、禁止は現実的ではない。この汎用ツールを拒む人は、自分にこう聞けばいい。敵や競合や相手は、この新しい道具をどう使うだろうか。禁止が選択肢にないなら、人々が成功するために必要な道具とアクセスを確保することは、さらに急務になる。データセットに代表性がなければ、A.I. における多様性と包摂は語れない。だから私は、原データという素材が、良くても粗い石、悪ければデジタルごみのようなものとして、どこかに閉じ込められているのを見るたびに本当に驚く。私たちは物事を棚にしまい込み、それから世界のデータセットやモデルがなぜ自分たちの目的に合わないのかと不思議がる。そのうえで、どこかの善良な企業が銀の皿に A.I. の霊薬を載せて届けてくれることを願う。いわゆる「ウォーク」な議論が行き過ぎることもある。でも私たちにはすでに民主主義という技術がある。互いに必ずしも同意しなくても、互いを許容する限り、人々に共存する自由と行為主体性を与えるための技術だ。
これに興味があるのは、今では解ける問題になっているからでもある。低いところにぶら下がっている果実、くらいには解ける。より性能の良い基盤モデル、あるいはより良いマージモデルから始めて、関係する部品をそれぞれ 10% ずつ良くする。さらにデータを増やし、もう少しファインチューニングする。そうすれば、使えるものまで届くはずだ。専門家をさらに足したり、データをスクレイピングしたり、合成データを作ったりして、中国語ができ、コンテンツや中国の公務員試験の練習問題を生成できるモデルを焼けるか試すつもりだ。楽しそう。
自分の庭を手入れする
今の A.I. では、早く抽象化しすぎない方がいい、という考えにかなり刺激を受けた。足元の砂があまりにも速く動いているからだ。それはまた、かなり強いリマインダーでもあった。WhatsApp で複数ユーザーを同時に処理し、ステートレスなマイクロサービスアーキテクチャ上で状態を維持する問題に、なぜ私は必要以上の時間を使っているのか。つまりこの段階では、複数ユーザーの同時処理は最重要の焦点でもなければ、そもそも私の専門でもない。
私はむしろ、自分のモデルの庭を手入れしている方がいい。それでも今週末、前述の問題に最後にもう一度だけ突っ込んで、どこまで行けるか見てみるつもりだ。笑。
PubPub の erniesg.pubpub.org/pub/4nrd812x で初出。