データが乏しい環境で効果的に訓練する戦略

使ったアーキテクチャは、私の記憶違いでなければ wasserstein 正則化を伴う v2 だけだった。例を記憶しているだけでサンプル外で十分に性能を出せないほど過学習する危険は、正則化によってある程度緩和される。他の典型的な可能性は以下の通りだ。後ろの二点についてはより詳しく話す。

• データ拡張

• 小さな学習スケジュールまたはより多くのエポック

• より良いモデル*

• 転移学習*

星印の付いた二つの点は、特定領域でより良い応用を得るために、既存の、符号化された知識を活用することに関係している。A.I. をすばやく採用する組織にとっての“無料の昼食”は実質的にこれだ。専門性と GPU にアクセスできるなら、特定の作業を扱うために自分たちのデータで訓練された最高水準のモデルを使える。これは、自分たちのプロセスに対するより多くの主体性と制御を意味する。

LLM は世界の知識を符号化する

多くの人が気づいていないのは、現代の A.I. アプリケーションの多くが基盤としている Transformer アーキテクチャが、問題やデータのモダリティをまたいでも驚くほどしなやかで堅牢だということだ。

Transformers: AI における最高のアイデア | Andrej Karpathy and Lex Fridman

最近最も混乱した瞬間の一つは、観客の一人が “The Sound of Stories” を 1 から 100、あるいは n 個の物語へ拡張するのにどれくらいかかるのかと聞いてきた時だった。答えは、そのデータを取り込むのにかかる時間、つまりほとんどの場合おそらく 1 秒未満？私は “The Sound of Stories” を本質的に拡張可能にし、どの一つのモデルにも縛られないように作った。だからこそ、使う設計パターンを考え抜くために先行投資をした（もっとも、最終デモに近づくにつれてコードベースはどんどん乱雑になった）。後になって分かったのは、彼女が私が A.I. を特定文化のように考えるよう訓練したと思っていたことだった。そのことで、A.I. の外にいる人々は、Transformer が文脈問題を解決したこと、そしてこの深層学習の時代が以前の時代と違うのは、システムがどれほど汎用的で賢くなっているかだということに、そもそも気づいていないのかもしれないと分かった。

GPT-4 を Claude 3 Opus に置き換えたとき、私は物語の進行を設計する必要がなかった。私がしたのは、巨大なプロンプトを渡すことだけだった。そういうふうに言語学的に処理するのが面倒だったからだ。アシスタントとユーザーの応答を API 呼び出しに追加し、それを続け、モデルにユーザーとやり取りし適切に終えるよう指示した。それ以前の GPT-4 は、ユーザーからの突然の応答を無視するか、どうすればよいか分からないかのどちらかだった。しかし Opus は今のところ、より賢く、はるかに二言語に強いことを証明している。出力された中国語の応答は十分自然で、私が調べた中国語の大規模言語モデルを使う必要を感じなかった。

インターネット規模のデータで訓練された大規模なオープンモデルが微調整と訓練のために豊富に利用できる以上、最も早くそれを行う企業は、より良い利益率と新しい能力によって先に進むだろうし、そうしない企業はすぐ苦境に陥るかもしれない。実際、この A.I. のカンブリア爆発の中で響いているテーマは、ボトムアップのユーザー導入がどれほど大きいかである。今日の若者が働く年齢になったとき、A.I. の恐竜のような会社で働きたいとは思わないだろうと私は考えている。そしてそれは素晴らしい。競争は美しい。

仕事で使うことこそ、A.I. の突破口になるユースケースだ

だから私は、多言語翻訳を拡張したり、データで異なるモダリティを再構成したりするような、とても手近な実装を私たちから止めている唯一のものは……組織の慣性なのではないかと思う。この戦いは組織が負け得るものだ。なぜなら、私たちは自分たちの最高水準モデルを作るために必要な材料をすでにすべて持っているからだ（繰り返すが、人材、GPU、いくらかのデータがあると仮定して）。今回はユーザー行動が実際に私たちの側にある。人々が手元の A.I. でどれだけのことをしているかという信号を読むだけでよい。幸運にも、願わくば、この A.I. 導入競争の勝者と敗者は市場に決めさせられるだろう。

エンドユーザーとして見ると、仕事での A.I. 利用は、この汎用技術の“キラーアプリ”になりつつある。これはいろいろな層でかなり面白い。インターネットと携帯電話は、私たちのコミュニケーションや情報交換の方法を変えたが、それに比べると仕事の仕方はそこまで変わっていなかったとも言える。上司がプロンプトを渡す。あなたはそのプロンプトを脳で処理する（内側の重みとバイアスには自分でもアクセスできない）。いくつか変換をかけ、出力を出す。日常業務から複雑な多者間交渉まで、私たちは人間の認知と知能に頼ってあらゆるタスクを回している。あるいは、遅い LLM を前提にリアルタイム体験を届けるステートレスなマイクロサービスアーキテクチャ、ローカルコンピュータからリモート VM まで価値連鎖全体にまたがる依存関係と可動部品の山まで…… :’)

私の A.I. ペアプログラマーがいなければ、私は “The Sound of Stories” を複数の A.I. モダリティを活用し、WhatsApp を通じてリアルタイムに提供される拡張可能な体験に変えることはできなかっただろう。

指数的な力としての知能

私が考えてきたことの一つは、幅広いことができる大きなモデルは、より小さく、より専門的で、より速いモデルより常に良いのかということだった。そして A.I./LLM で構築する過程で、この見方を捉え直すべきかもしれないとはっきりしてきた。重要なのはパラメータ数がいくつあるかではなく、モデルがどれほど汎用的な知能を持つかである。より汎用的な基盤知能があるほど良い。指示により確実に従い、限られたデータでよりよく予測し、データに新しい変換をかけ、他領域で学んだことを新しい領域へ移せるからだ。つまり、人間がやっているタイプの知性に近づく。

この一部はただの工学だ。課題を分解し、それらを処理のために異なるエンドポイントへ分配し、モデルのアンサンブルを活用する。しかし、より汎用的な知能（先ほどの GPT-4 vs. Claude 3 Opus の使用に関連するように）は常により良い。こうしたシステムを知ることは、人間と社会が何をできるのかを理解し、味わう最良の方法の一つである。

より多くの知能は、より少ないものでより多くをできることを意味する。そして Claude 3 Opus のようなモデルが約 2 兆パラメータを 40 兆トークンで訓練しているにもかかわらず、世界に関する基盤知識を持つこれらのモデルが、やろうとしている仕事に対してなおパラメータ不足であるというのは驚くべきことではないか。明らかに、2 兆パラメータは世界全体の知識の複雑性を捉えるには不十分だ。だからモデルは限られたアーキテクチャの中でこれほど多くのデータを圧縮し表現しようとし、高次元で多くの重ね合わせが生じる。おそらく世界全体の知識にアクセスすることは、どんな一個人にとっても不可能な作業であり、モデルならなおさらだ。だから人間社会では、特定領域における具現化された知識主体（専門家）が存在し、図書館、博物館、外部知識リポジトリ、さらには日常的な意味でノートを持つ人に頼ることで、私たちの心を足場掛けし、拡張している。このようにして、私たちは世界の知識を分割し、分散してきた。

そして私たちは、これまで存在した中で最もエネルギー効率、サンプル効率、計算効率の高い生物学的コンピュータである。モデルの振る舞いを望ましいものへ寄せるために、強化学習、直接選好最適化、Kahneman-Tversky 最適化が多く行われてきたが、データの疎さは一貫した課題である。それに対して、信号がこれほど疎いにもかかわらず、人間が社会的な種の一員として順応し、ふるまえるようになるのは驚くべきことではないだろうか。そしておそらく、メディアと文化の役割は、個人の欲望に選好の固有ベクトルを注入することなのだ。進化は競争と同じく美しい。

忘れること、抽象化すること、類推すること、想像すること、計画を作ることなどの私たちの能力が、現在の A.I. システムに欠けているピースであり、それらのさらなる汎用学習と拡張を妨げているように見える。環境の中で探索し、実験し、利用可能な文化的・社会的・知的資源を組織し活用する人間の能力は比類ない。

だから私は、もう少し考えていれば、すぐ飛び込むのではなく違う訓練選択をしただろうと気づくメタ状態に達した。同じように、LLM が思考の連鎖による推論を使うよう指示されたときにより良く動くことは、驚くべきことだろうか。

次の続編では、なぜより多くの知能が重要なのか、そして個人ユーザー、コミュニティ、企業が自分たちの目的のためにそうした知能をどう引き出し活用できるのかについて、いくつかの提案をさらに裏付けるつもりだ。その多くはすでにこの投稿で触れている。高品質で広範かつ多様なデータセット、外部知識リポジトリ、人材、社会的共有、計算資源、より良いモデルである。データセットの最初の部分はさらに扱いたい。多くの組織はすでに興味深いものを作るのに十分なデータを持っているのではないかと疑っているからだ。ただ行き詰まりに足止めされているだけなのだ。特にこれに関連して合成データセットを調べたい。データサイエンス卒業プロジェクトの準備中に試したが、うまく動かせなかったものだからだ。ありがたいことに、世界は変わり、私は今ではもう少し知っている。;)

PubPub の erniesg.pubpub.org/pub/1eogiw8s で初出。