有些软件闻起来像下水道

很多组织想要的是能发电的水坝，交付实实在在的商业成果；但更多时候，他们其实被困在一个漏水管道的数据下水道里。每一天我不得不用某个专用 SQL 池，我都会想，上辈子到底做错了什么，才要应付一个专用 SQL 服务，它竟然：

• 不允许你重命名数据库

• 在上面跑 Python 脚本有 20mb 限制

• 什么叫你想跨数据库复制表，甚至在同一个数据库里复制 - 难道你不知道这些表有不同的列索引存储，复制时还需要自己定义吗？

• 你想在 Get Metadata 上套筛选条件？不存在

• 在 for each 里面写 if？不存在

• 在循环里拿到你当前正在迭代的条目？不如去找魔法粉

有些顾问把别人说服去用这东西，还不知道到底让谁、为了什么受益，他们在地狱里应该有一个特别的位置。总之，抱怨够了。这就是为什么我最近开始对把试卷当作数据集来玩感兴趣。

把考试当数据

想一想 - 还有比标准化考试更 结构化、更 一致、更 干净 的数据集吗!?!?!? 它们总是有相同数量的问题、题型、定义清楚的教学大纲等等。这简直是每个数据科学家的梦幻素材… 直到你开始处理 PDF。我也觉得生成练习考试、让 LLM 打败它，然后也许为所有人做一个 AI 导师，这个想法非常有趣。对我来说，重点很简单：考试不是为人类设计的。它用来衡量智力非常糟糕，尽管对行政和文书工作来说极其方便。通往 AGI 的道路上，世界真正缺少的似乎是一个能衡量通用智能到底是什么的好指标；如果大语言模型和考试之间这种双向张力，能带来一个我们用更好的东西取代标准化考试的未来 - 那已经是对人类很大的服务了。

为演示目的微调 GPT 3.5 生成 IB 试卷

在那些顾问的地狱特别位置旁边，应该坐着把 PDF 和 Excel 文件当数据集丢给你的人。结果 Document AI 对解析文本做得相当不错，但我不想付钱（回头看，也许不直接付钱用 API 反而更浪费），所以在键盘上各种痛苦挣扎之后，我只传了 44 个样本去微调 GPT 3.5。很有意思的是：

• 它忠实复现了我文字里一些随机空格 - 所以它真的在鹦鹉学舌地复读输入给它的分布

• 有时候它完全是在胡言乱语，而且事实证明 PDF 是一种需要认真对付的恶魔力量，因为里面有太多看不见的 Unicode 字符

微调 GPT 3.5 生成 IB 试卷

但总的来说，我只是惊讶它竟然这么容易，也迫不及待想在我 M2 Max 上那 64gb 还完全没用过的 VRAM 上微调一些模型。我特别感兴趣的是中国公务员考试，因为中立、乖宝宝式的 LLMs 太无聊，也太无害，几乎没什么用。我觉得合并模型会很有意思，看看有没有办法捕捉某种以中国国家为先验的内部表征，谁知道呢 - 这说不定会成为行为预测器，价值巨大！？

最初发表于 PubPub：erniesg.pubpub.org/pub/jqeeg1f8。