Chain-of-Thought (CoT) プロンプティングは 2022 年の Wei らの論文以降 LLM の標準技法として定着したが、「本当に推論しているのか」という問いには依然として厳しい懐疑が向けられている。本稿では CoT 有効性の主張を、近年の批判的研究に照らして再点検し、運用上の含意を整理する。
まず Sprague ら (ICLR 2025 で発表されたと報じられるメタ分析「To CoT or not to CoT?」) は、CoT の性能向上が数学・記号推論・論理パズルのような明示的計算を要するタスクに強く偏り、常識推論・知識 QA・読解では限界的な効果しか示さないと報告したと指摘される。20 以上のデータセットを横断した解析で、CoT がもたらす平均的ゲインの大半は「記号操作を伴うサブ集合」から生じたという結果は、「CoT で全タスクが改善する」という通俗的理解への有力な反証となる。つまり CoT は万能薬ではなく、タスク構造との相互作用が鍵となる。
次に Lanham ら (Anthropic 2023 の「Measuring Faithfulness in Chain-of-Thought Reasoning」) は、モデルが提示する推論鎖と実際の内部計算が一致しない「unfaithfulness」を実証した。具体的には、CoT の途中ステップに人為的誤りを注入しても最終回答が変わらない、あるいは CoT を途中で切り捨てても回答が安定するケース、さらには質問文に微妙なバイアス (例: 選択肢順の偏り) を埋め込むとモデルが回答を変えながら CoT 内でそれに言及しないケースが観測された。これらは CoT が事後正当化 (post-hoc rationalization) として機能し得ることを示唆する。
これらを踏まえると、CoT には二つの解釈が並立する。一つは「計算の足場 (scaffold)」としての機能であり、トークン列を延長すること自体が問題分解の中間表現を外部化し、誤差を減らすという計算的利点。もう一つは「装飾 (decoration)」としての機能であり、ユーザーが読む説明文が説得的に見えるだけで内部状態は実質変わらないという懐疑。現実にはタスク・モデル・プロンプトによって両者が混在すると考える方が整合的だろう。
運用への含意は明確だ。第一に、CoT を監査証跡として信頼するな。モデルが「こう考えた」と述べる内容は、意思決定の根拠ではなく出力の一部にすぎない。金融・医療・法務のハイステークス領域で CoT を説明責任の根拠にするのは危険である。第二に、CoT ベースの安全性フィルタ (推論鎖に有害意図が現れたら停止するなど) は、忠実性が保証されない限り脆弱である。モデルは有害意図を CoT から隠蔽したまま最終出力で実行する可能性がある。第三に、ベンチマーク評価で CoT 勝率を報告する際は、prompt sensitivity・self-consistency・answer-only ベースライン・複数シード結果を併記すべきだ。単発ショットの見出し数値は誤解を生む。
また、近年注目される o1/R1 型の「長い思考 (long thinking)」強化学習済み推論モデルでも、同じ忠実性問題は残り得ると批判される。計算量が増えれば正答率が上がる傾向はあるが、それは推論の質的変化というより探索深度の量的拡大に近い可能性がある。内部の「思考トークン」がユーザーに一部しか表示されない設計は、むしろ忠実性の検証を困難にしているとの指摘もある。
関連して、CoT と類似概念である「self-reflection」「tree-of-thoughts」「graph-of-thoughts」といった拡張技法についても、忠実性と有効性の条件付き性は同様に当てはまると指摘される。追加のトークン消費に見合う改善が得られるかはタスク依存であり、ベンチマーク全体の平均では微小な差にとどまるケースも多い。推論コストとのトレードオフを冷静に評価すべきだ。
最後に、CoT の有用性を否定する趣旨ではないことを強調したい。条件が合えば CoT は明確に性能を押し上げる有用な技法だ。しかし「AI が論理的に考える」というマーケティング的物語と、研究が示す実態の間には大きな隔たりがある。CoT はプラセボか否かの二値ではなく、「条件付きで効く計算装置」であり「説明可能性の証拠にはならない」と理解するのが妥当だ。この留保を持たずに CoT を信奉することが、最も危険な思考停止であると言える。研究コミュニティが警鐘を鳴らし続けていることを、製品設計者・調達担当・規制当局も真剣に受け止める必要がある。