Ernie.SG 
私の言いたいことはこうだ。“杀猪焉用牛刀”、つまりナッツを割るのに大槌はいらない。大規模言語モデルの耐えがたい軽さは、特定の問題に最適化されていないところにある。GPT-4 のようなマルチモーダルモデルや、私が試作した検索エンジンで使ったものは刺激的だが、エンジニア、科学者、研究者が、人間の脳に相当するものをコードでどこまで極限まで作っていくのか、私は固唾をのんで見ている。
4か月前、私はチームメイト 2 人と教師あり学習・教師なし学習を使って、作品の自動注釈を行った。その終わりに、概念実証から本番環境へ移すための MLOps パイプラインを作ることに興味を持った。当時 “MLOps for museums” と検索しても、インターネット全体で結果はゼロだった。
今では Google がここを指してくれる。私はこのキーワード密度と関連性を強めるためだけに、この投稿を書いている。へへ。
私にとって面白いのは、教師あり学習と教師なし学習を捨て、OpenAI の Contrastive Language-Image Pre-Training と Jina のニューラル検索機能の上に作り直した瞬間、1か月分の（パートタイムの）チーム作業が半日未満の仕事で過去のものになったことだ。そして、検索と自動注釈に対する人々の受け止め方の違いも面白い。なぜか私たちは前者にはずっと寛容で、結果をそのまま受け取る。後者では、機械が作った表象という考えに人々がざわつくように見えて、それが私には不思議だ。もしかすると私たちは、人間が作った知識に、より大きな説明責任と信頼を帰しているのかもしれない。人間の記憶がどれほど誤りやすく、視野がどれほど限られていても、その背後には、特定の文化と文脈の中に埋め込まれた、私たちと同じような存在がいて、責任を問えるからだ。一方で、その人間たちも最初からさまざまな程度で技術を使っているはずだ、という事実は都合よく割り引いている。だとすれば本当の謎は、特定のモデルに照らされ、特定の方法で構築され、特定の人間エージェントによって作られた世界の表象を受け入れることを、何が妨げているのか、ということだ。おそらく私たちは、自分たちに向けられたこの鏡が映し返すもの、つまり自分たちのいちばん深いバイアスと偏見を見たくないのだろう。私たちは目を背ける方を選ぶ。新しい土地を探しに行くより、砂の上に城を建て続ける方を選ぶ。
興味深いことに、私たちの多くは、反復を通じた確率的な最適化よりも、決定論的な結果が返ってくることを好むようだ。この一見孤立した観察が、人間心理のどこかにうまくつながるのか、それとも私がただ過剰適合しているだけなのか、気になっている。
いずれにせよ、検索は面白い。すでに確立された巨大な市場機会であり、私自身いくつか検索をしているときに Google の効き目の限界にぶつかっていたからだ。さらに中国語インターネットと中国語検索については、どこから話し始めればいいのか……？インターネット人口の一部が 21 世紀の Cultural Revolution の中で暮らす一方で、現在の検索と GPT-x の本当の限界は、検閲への弱さとゴミ情報の洪水にある。出典表示とより良い事実確認の仕組みがあれば、自動的により多くの人が真実に関心を持ち、多元宇宙をまたいで共通基盤を探すようになるわけではない。それでも私は、虚偽と幻覚の潮位が上がっていく中で、そうした仕組みを堤防として使えるようにすることが重要だと思う。創作 のコストがほぼゼロに近づいたこの世界で（あるいは ChatGPT tokens 1000 個あたり $0.002、API 経由なら 10 倍安い のだから、コーディングを学ばない理由が他にあるのか!? :p）、こうした技術的な力が創造性をどう作り変え、これまで不可能だった新しいパラダイム、新しいビジネスモデル、新しい表現と組織の様式をどう開くのか楽しみだ。Keynesian possibilities for our grandchildren は、このような世界でふたたび意味を持つのだろうか。それともこの Infinity Gauntlet は、仕事とそれに付随する意味が（その結びつきがどれほど怪しいとしても）空気中に蒸発する中で、世界の半分を、よくて虚無主義、悪ければ反乱へ追いやるのだろうか。
人生の多くのことと同じように、今見えているモデルの汎化可能性と特化のあいだには、おそらくトレードオフがある。すべての砂ぼこりが落ち着いたあと、ちょうどよいバランスを見つけるには相当な実験が必要になるだろう。
出典：Carlota Perez『Technological Revolutions and Financial Capital』より、技術革命のライフサイクル。
だから今のところ、私は作り続ける。😊
PubPub の erniesg.pubpub.org/pub/ettc9fqh で初出。