Ernie.SG 
世界上几乎任何问题，都可以被转化成从 X 到 Y，或者更准确地说，从 X 到 ŷ。这件事有一种很深的美。艺术、音乐、核聚变，随便挑一个问题。更多智能通常都是好事。邪恶和作恶者的问题当然要解决，但生活里很多时候，我们也太快向别人扔石头，却太少追问自己那些预设背后的前提。所以，也许 A.I. 反而会是一个更公平的裁判者……？
无论如何，这是一种基础技术。在这个领域里，你必须每周重新审视自己的先验判断，然后继续往前构建 - 为一个便宜 10 倍、1000 倍，更快也更好的未来构建。老实说，我还远远谈不上真正理解它。但我发现，从第一性原理学习和应用 A.I.，最好的方式就是亲手去做，快速迭代，把它接到我已经知道的东西上，同时也希望能探索一些还没有被占领的地盘。
所以我开始对小型、分布式模型这一整块感兴趣，因为 GPU 资源根本抢不到。世界上所有大玩家和大公司当然早就把实例都 CHOPE 掉了，普通消费者连一滴都分不到。我对小模型感兴趣，也是因为即使在 64GB 统一内存的 M2 Max 上，尝试训练一个小型专家混合模型时，系统还是会提醒内存不足。现在它终于跑完了，我在想，能不能往这个玩具里塞更多专家和数据，让它在我想用普通话做的事情上达到够用的水平。
MLX MoE 在 M2 Max 上的推理演示
小型、本地语言模型
本地语言模型这个问题之所以真正浮上来，是因为我看到 GPT-4，甚至这个玩具模型，在普通话上表现得有多糟。好消息是，我试过一些中文大语言模型，发现它们已经可用。所以我相当有信心，我们可以接着这些努力，做出一个足够好用的模型。我也一直好奇其他东盟语言的情况，因为我之前替人做过一些翻译和转录实验；在那里，距离可用质量的差距感觉更远。我忍不住想，在一个到处都是 A.I. 的世界里，本地文化和本地语言会发生什么？我们真的希望全世界的内容、知识和信息，都由少数集中在世界某一处的大公司来生成吗？
任何形式的禁用都不现实。任何想拒绝这个通用工具的人，只需要问自己一句：想象一下你的对手、竞争者或敌人会怎样使用这个新工具。如果禁用不可行，那就更迫切地要确保人们拥有成功所需的工具和访问权。没有数据集里的代表性，我们就无法谈 A.I. 的多样性与包容性。也正因为如此，当原始数据这种材料 - 最好也只是粗糙石头，最差就是数字垃圾 - 被锁在某个地方时，我总是被人们的态度震惊。我们把东西束之高阁，然后又疑惑为什么世界上的数据集和模型不合我们的用。接着我们希望、祈祷某个仁慈的大公司会把 A.I. 的灵药盛在银盘上送到我们面前。有时候所谓的“觉醒”确实会走得太远，但我们已经拥有民主这项技术。它给予人们自由和能动性，让我们即使未必同意彼此，也能在相互容忍的前提下共存。
我对此感兴趣，也因为它现在已经是可以解决的问题，而且像低垂的果实那样可以解决。我们只需要让相关组件各自好个 10% 左右：从一个性能更好的基础模型，或者一个更好的合并模型出发，再加上更多数据和进一步微调，就能得到可用的东西。我计划尝试添加更多专家，抓取并生成合成数据，看看能不能烘焙出一个会普通话、能生成内容，或者能生成中国公务员考试练习题的模型。那会很好玩。
照看你的花园
“在 A.I. 的这个阶段，不要过早抽象”这个想法很启发我，因为我们脚下的沙子移动得太快了。它也狠狠提醒了我：为什么我还要让自己在 WhatsApp 里，为了同时服务多个用户，并在无状态微服务架构上维护状态这个问题上，花比必要更多的时间？也就是说，在这个阶段，同时服务多个用户并不是最关键的焦点，也不是我的专长本身。
我更应该好好照看自己的模型花园。不过这个周末，我会让自己最后再试一次前面那个问题，看看我们能走多远，哈哈。
最初发表于 PubPub：erniesg.pubpub.org/pub/4nrd812x。