アイデア
何時間も作業する AI エージェントはコンテキストウィンドウを使い切ります。現在の対策は モデルの外側 にあります。自動要約、ルールによる圧縮、外部メモリ、RAG などです。2026年9月29日 に arXiv に公開され、10月11日 に InfoQ が報じた University of Washington、Meta Superintelligence Labs、MIT、Trillium Labs の論文は、別の方法として Context Language Models(CLM) を提案しています。
CLM では コンテキストをファイルとして扱い、モデル自身が 自由に書き換え られます。不要な途中結果を消し、重要な事実を残し、進捗メモを書き、失敗した実験を記録します。固定ルールに従うのではなく、何を残す価値があるか をモデルが学びます。マルチエージェントでは各エージェントのコンテキストがそれぞれファイルになります。
コードは GitHub で公開されています(facebookresearch/context-language-models、約680スター)。
報告された成果
追加学習なし(ゼロショット) で既存モデルを使った場合:
- BrowseComp-Plus: 精度 +11.4%、FLOPs 21.5%減
- 12時間の EdgeBench: スコア +5%、FLOPs 59%減
- 24時間のマルチリポジトリ・エージェント群タスク: 同じ計算量で改善幅65%増
ほかに:
- スキル最適化ループで磨いた 自然言語の指示 で、コンテキスト管理タスクの精度が最大 35.9ポイント 向上
- 強化学習 で Qwen3.5-9B の BrowseComp-Plus スコアが28.8%から 42.5% に(相対 +47.6%)、FLOPs は12%減
- サーバー側の Suffix Cache Reuse で、標準の SGLang 比 計算量35%削減
注意点
著者自身が指摘しています:
- モデルが後で取り戻せない 重要な情報を捨てる おそれ
- 編集可能なコンテキストは 新たなプロンプトインジェクションの経路 になり、悪意ある指示や自己生成の指示が ターンをまたいで残る 可能性
- 制御が増えても、何を残すかの判断が良くなるとは限らない
批判的な声として、成果は特定のタスクによるものだという指摘や、コンテキストを書き換えると キャッシュが無効になり 本番の推論コストが上がるという指摘もあります。著者のキャッシュ手法で補えますが、欠点もあります。
なぜ重要か
MemTensor の Metis などと並び、CLM は 記憶とコンテキストがハーネスからモデル自身へ移りつつある 流れを示しています。エージェントを作る側にとっては:
- コンテキストはコスト: 精度と同じくらい、タスクごとのトークンと FLOPs を測る
- 自社のワークフローで コンテキスト戦略を試す(要約、進捗メモ、削除)。良い指示だけでも効果があると論文は示しています
- コンテキストを攻撃対象として扱う: エージェントが自分のメモを書き換えられるなら、悪意ある内容が残り得ます。編集を検証し記録する
- キャッシュに注意: 先頭部分を書き換えるとプロンプトキャッシュの割引が消えることがあります
出典
- arXiv 2609.37725 (Context Language Models): https://arxiv.org/abs/2609.37725
- GitHub, facebookresearch/context-language-models: https://github.com/facebookresearch/context-language-models
- InfoQ (2026-10-11): https://www.infoq.com/news/2026/10/context-language-models/
AI エージェントのコストと信頼性を最適化したいですか?KGA IT は無料相談を受け付けています:kga-it.com