数字が増えるほど信用できない時代
- 年の主要モデル発表ブログは、20 個以上のベンチでの優位を主張するのが標準だ。一方で MIT Technology Review は 2026 年 3 月に「AI benchmarks are broken」と題する記事を出し、現行の発表慣行が評価としての価値を失いつつあると警鐘を鳴らした。LMArena に関する 2.8M 比較レコードの分析では、選択的提出によって最大 100 ポイント規模のスコア差が生じ得ると報告された。
チェリーピッキングの基本構造
仕組みはシンプルだ。ベンダーは社内で 15 個のベンチに対して数十回試行し、上振れた組み合わせだけを公開する。各スコアは「嘘」ではないが、選択バイアスにより集合としては誤誘導になる。BIG-bench、HELM のような「総合スコアで評価する」設計は、こうした選択バイアスへの古典的対策だが、ベンダーの広報資料では総合スコアは出さず、有利なサブスコアだけが切り出される慣行が続いている。
三つの典型パターン
パターン A：ベンチの版を選ぶ。MMLU-Pro v1 と CoT 強化版でスコアが違うとき、有利な方を採用。パターン B：scaffold を強化。SWE-Bench で複雑なエージェント・ツール構成を組み、scaffold 込みの数字を「モデルのスコア」として提示。パターン C：推論深度の最高設定だけを掲載。Tier 4 ベンチで「extended thinking 最高」設定の数字だけを公開し、本番想定の中設定を隠す。これらは個別には誇張ではないが、組み合わせると本番性能から乖離する。
読み手のためのチェックリスト
発表を見たら以下を確認する。(1) 比較対象のモデル ID とスナップショットが固定されているか。(2) 各ベンチで pass@k の k、温度、CoT、推論深度、サンプル数が明記されているか。(3) ベンダー第三者再現値が併記されているか。(4) 反対方向（負ける）ベンチの結果も公開されているか。(5) コスト・レイテンシが同条件で示されているか。(6) ベンチがその発表時点で飽和していないか（飽和域では誤差が大きい）。これらを満たさない発表は、社内提案資料のエビデンスにはならないと割り切るのが合理的だ。
ベンダー側にも信頼コストはある
チェリーピッキング戦術は、短期では有効だが長期では信頼を毀損する。ベンチで誇大表示が続くベンダーは、独立評価機関（Artificial Analysis、Epoch AI、Vals AI、LiveBench 等）と数字が乖離し続け、エンジニア層の支持を失う。2026 年に「公式発表より独立第三者を優先する」という運用が広がりつつあるのは、市場側の合理的反応だ。
SI / コンサルの責務
KGA IT のように顧客にモデルを推奨する立場では、(1) 公式ベンチをそのまま転載しない、(2) 独立第三者値を併記、(3) 顧客固有のホールドアウトでミニ評価、を最低ラインの作法として徹底する必要がある。マーケに踊らされる SI は、3 年以内にエンジニアリング信頼を失う。
まとめ：数字より方法論
結局のところ、2026 年に信頼できる比較は「方法論を開示しているか」で見分ける。スコアの絶対値ではなく、計測条件、再現可能性、独立検証の三点で発表を読む癖をつけることが、騙されないための一番の防具だ。ベンチマーク自体に問題があるのではなく、ベンチを「マーケ素材として消費する」運用が問題なのだ、という視点を持ち続けたい。