- 年春の AutoGPT・BabyAGI 以降、自律エージェントのデモは繰り返しバイラル化してきた。しかし 2026 年時点でも、エンタープライズ本番投入で持続的に機能する事例は限定的であると指摘される。本稿ではベンチマーク数値を正直に読み直し、デモと本番の距離を構造的に分析する。
まず代表ベンチマークを整理する。(a) GAIA は Meta・HuggingFace 系が 2023 年末に公開した汎用アシスタントベンチで、人間なら平均 92% 超を達成する一方、公開時点のフロンティアエージェントは数十%台と報じられた。最新の推論強化モデルで改善したとの報告もあるが、タスク難度レベル 3 では依然として人間並みとは程遠いレベルが続いている。(b) SWE-Bench (および検証済みサブセットの SWE-Bench Verified) は実 GitHub issue を解くコード修正ベンチで、トップエージェントのスコアが 50〜60%台に達したと報告される一方、タスク選別バイアス・テストリーク疑義・評価粒度 (patch が通る vs 意味的に正しい) の問題が継続的に議論されている。(c) WebArena・VisualWebArena はブラウザ操作ベンチで、成功率は概ね 30〜40%台止まりと指摘される。
これらのスコアを「もうすぐ人間並み」と読むのは早計だ。第一に、成功率 50% は本番運用では実用に耐えない。1 タスクあたり半分失敗する労働者を雇うだろうか、しかもその失敗が発生するまで分からないとしたら。第二に、ベンチマークはしばしば検証可能な離散タスクに偏り、企業業務の 80% を占めるであろう「曖昧で検証困難な作業」(ステークホルダ調整・優先度判断・例外処理) を測れていない。第三に、評価環境のシード固定・ツール簡略化・時間無制限・外部 API 安定という条件は、本番の動的環境と大きく乖離する。
本番での典型的失敗パターンとして観察されるのは次のとおりである。(1) 認証・SSO・MFA・CAPTCHA の壁を越えられない、または越えるために不適切な workaround (共有クレデンシャル) が発生する。(2) UI が微変化するとセレクタが破綻する。Web アプリの A/B テスト・段階的ロールアウト下では週単位で DOM が変わり、エージェントは耐えられない。(3) 長いセッションで context が溢れ、計画が崩壊する。ロングホライゾン・タスクでの「drift」は依然未解決である。(4) 失敗時の graceful degradation がなく、誤った書き込み (メール送信・DB 更新・API 呼び出し) を行う。(5) 監査ログ・ロールバック・権限境界が設計されておらず、SOC2・ISO27001・J-SOX を満たせない。
一方、限定スコープ・高頻度・可逆タスクに限定したエージェントは実用段階に入ったとの報告もある。具体的には、社内検索のクエリ拡張、ログ異常の一次分類、定型レポートの差分生成、コードレビューの第一読者、PR の要約、サポートチケットの優先度推定といった用途だ。これらは失敗のコストが低く、人間レビューが容易なため、エージェントの 60〜80% 成功率でも価値を生む。重要なのは「autonomy level」を適切に選ぶことであり、Level 5 の完全自律ではなく Level 2〜3 の協調補助が現実的 ROI をもたらす。
投資家・経営者への含意は明確だ。(1) デモの動画ではなく、本番環境・長時間セッション・失敗ハンドリングを尋ねよ。(2) ベンチマーク見出しスコアではなく、pass@1 ではなく pass@k・成功コスト・失敗コストを求めよ。(3) 「完全自律」よりも「審査可能な半自律」を優先せよ。(4) ベンダーの「エージェント」という単語をそのまま信用せず、ツールチェーン・メモリ・権限境界・ロールバック戦略を具体的に問え。
結論として、「汎用自律エージェント」の約束は依然として将来形であり、2026 年の現実解は「狭く・監査可能に・人間と協調する」半自律システムである。AutoGPT の後継を検討する経営者は、ベンチマーク見出しではなくタスク分解・失敗コスト・ロールバック設計を出発点にすべきだろう。ギャップは埋まりつつあるが、デモと本番の間には今なお大きな峡谷が存在する。