下水道のような匂いがするソフトウェアもある

多くの組織は、ビジネス成果を出す水力発電ダムみたいなものを欲しがる。だが実際には、漏れたパイプだらけのデータ下水道に閉じ込められていることの方が多い。ある dedicated SQL pool を使わなければならない日にはいつも、前世で何をしたら、こんな dedicated SQL サービスと付き合う羽目になるのかと思う。それは：

• データベース名の変更を許さない

• そこで Python スクリプトを実行すると 20MB 制限がある

• データベースをまたいで、あるいは同じデータベース内でテーブルをコピーしたいだって？そのテーブルには異なる column index stores があり、コピー時に定義が必要だと知らないのか？

• Get Metadata にフィルターを適用したい？そんなものは存在しない

• for each の中で if を書きたい？存在しない

• ループで今まさに処理している item を取得したい？pixie dust を探す方がまだましだ

これを他人に使わせるよう説得するコンサルタントには、地獄に特別な席が用意されているはずだ。それが一体誰に、何のために役立つのかは神のみぞ知る、だが。ともあれ、愚痴はこのくらいにしよう。だから最近、試験問題をデータセットとして扱ってみることに興味を持った。

データとしての試験

考えてみてほしい。標準化された試験より 構造化 され、一貫性 があり、きれいな データセットが他にあるだろうか!?!?!? 問題数、問題の種類、定義されたシラバスなどがいつも同じだ。まるでデータサイエンティストの夢そのものだ……PDF を処理し始めるまでは。練習用の試験を生成し、LLM にそれを解かせ、さらに全員のための A.I. チューターにするというアイデアも、私には非常に面白い。私にとって要点は単純で、試験は人間のために作られていないからだ。行政処理や書類仕事には極めて便利だが、知能を測る指標としてはあまりに貧弱である。AGI への道で世界が本当に欠いているのは、そもそも汎用知能とは何なのかを測る良い尺度なのだと思う。そして LLM と試験のあいだにあるこの双方向の緊張が、標準化試験をもっと良いものに置き換える未来につながるなら、それだけですでに人類への大きな貢献になるだろう。

デモ目的だけで GPT 3.5 をファインチューニングし、IB 試験を生成する

コンサルタントのための特別な地獄の隣には、PDF や Excel をデータセットとして渡してくる人たちがいる。結局 Document AI はテキスト解析をかなりうまくやってくれることが分かったが、私は一銭も払いたくなかった。今振り返ると、素直に払って API を使わなかった方がむしろ無駄だったかもしれない。キーボードの上でさんざん手を絞り上げた末に、たった 44 例を渡して GPT 3.5 をファインチューニングした。面白かったのは：

• 私の単語に含まれていたランダムなスペーシングの一部を忠実に再現した。つまり、与えられた分布を本当にオウム返ししている

• 時には完全な意味不明になる。そして PDF は本当に手強い悪魔的存在だと分かった。見えない Unicode 文字が多すぎるからだ

GPT 3.5 をファインチューニングして IB 試験問題を生成

とはいえ全体としては、その簡単さにただ驚いた。そして、まだまったく使っていない M2 Max の 64GB VRAM で、いくつかのモデルをファインチューニングするのが待ちきれない。特に中国の公務員試験に興味がある。中立的で優等生的な LLM は退屈すぎるし、無害すぎてほとんど役に立たないからだ。モデルを結合して、中国国家を事前分布とするような内部表現を捉える方法があるのかを見てみるのは、とても面白いと思う。誰にも分からないが、それは行動の予測器として非常に価値あるものになるかもしれない!?

PubPub の erniesg.pubpub.org/pub/jqeeg1f8 で初出。