「創発」神話の出発点
Jason Wei らが2022年に提出した "Emergent Abilities of Large Language Models" は、大規模言語モデルの能力に関する支配的物語を書き換えた論文だ。小規模モデルではランダム同然の成績しか出せなかったタスクが、スケールがあるしきい値を越えると急に正答率を立ち上げる、という主張である。報告されたグラフ群は曲線というより階段状に見え、「相転移」「創発」「予測不能な跳躍」といった強い語彙で語り継がれた。
この論文は、スケーリング信仰を補強する強力な物語的資産になった。大型化の投資対効果は連続的ではなく、ある地点を越えた瞬間に質的変化が訪れる、という期待である。一方で、当初から測定方法論に対する批判が同時並行で走っており、4年が経過した現在、その批判のいくつかは強力な再現報告を伴って公開されている。
Schaeffer らの批判: 創発は指標の幻影か
Rylan Schaeffer、Brando Miranda、Sanmi Koyejo らは、"Are Emergent Abilities of Large Language Models a Mirage?" と題された研究で、創発的振る舞いの多くが評価指標の非線形性に由来する人工物である、との仮説を提示した。具体的には、厳密一致（exact match）のような不連続指標を選べば階段状の曲線が生まれ、トークン毎の対数尤度や部分一致指標に切り替えると、同じモデル群の進歩が連続的・単調に見える、という指摘である。
この再検証は、すべての創発報告を否定したわけではない点に注意が要る。指標を変えても階段状に残るタスク、連続化すると滑らかに溶けるタスクの両方が存在する。つまり「創発は全面的にインチキ」でも「創発はすべて本物」でもなく、報告事例ごとに測定設計を精査する必要がある、という地味で健康な結論である。
論争が残したもの
- 年を経て定着した共通理解は、次のように整理できる。第一に、「能力曲線は指標選択に強く依存する」という実務的教訓。第二に、「小さなモデルで走った直線を大きなモデルへ外挿する予測は危険」という懐疑。第三に、「個別タスクの創発報告は、独立再現とゼロショット漏洩チェックを要求される」という査読文化の硬化である。
一方で、一般向けの言説空間では、元論文の階段状グラフだけが繰り返し再利用される傾向がある。「次の世代は創発的に○○を獲得する」という期待は、ベンチマーク設計と測定指標の議論を飛ばしたまま流通している。筆者の実感では、2026年の現在でも、プロダクト企画書に「創発によって〜」と書かれたものを月に数回見かける。
実務への含意
エンタープライズ導入の現場から見ると、この論争が示す教訓はきわめて実用的だ。モデル更新時の性能評価を「平均スコア」ではなく「誤答の質的変化」で追うべきである。exact match の集計値だけでは、実は連続的に改善していた能力と、突発的に現れた能力の区別がつかない。業務影響を見積もる目的では、対数尤度系のスコアや人手評価のルーブリックを併用したほうが、期待値設計が健全になる。
また、ベンダーが新モデルのプレスリリースで「創発的に獲得した新能力」を謳う場合、どの指標・どのタスクセット・どのプロンプト形式で測ったかを常に確認したい。指標を切り替えると消える能力であれば、本番環境での価値は限定的な場合が多い。
物語批判としての読み直し
「創発」という語彙は、複雑な実証問題を詩的に要約する便利な容器である。だからこそ、マーケティング、規制議論、資金調達の全方面で濫用されてきた。Schaeffer らの批判は、容器の底を抜いたわけではないが、容器に中身があるかどうかを確認せずに持ち歩くな、という注意書きを貼り直した仕事と言える。
- 年間で判明したのは、創発は便利すぎて危険な概念だ、ということだ。完全に捨てる必要はないが、使うたびに測定設計を同時に開示する作法を、業界全体で再インストールすべき時期に来ている。