上下文语言模型:自行编辑上下文的模型准确率更高、算力更省

思路

长时间运行的智能体会塞满上下文窗口,现有做法都在 模型之外(摘要、压缩、RAG)。华盛顿大学、Meta 超级智能实验室、MIT 与 Trillium Labs 于 2026 年 9 月 29 日 在 arXiv 发表、InfoQ 于 10 月 11 日 报道的论文提出 上下文语言模型(CLM):把 上下文当作文件,由模型 自由改写,自己学习该保留什么。代码见 GitHub(facebookresearch/context-language-models)。

结果

• 零样本: BrowseComp-Plus 准确率 +11.4%,FLOPs 减少 21.5%;12 小时 EdgeBench +5%,FLOPs 减少 59%
• 优化后的自然语言指令:最高 +35.9 分
• 强化学习:Qwen3.5-9B 从 28.8% 升至 42.5%,FLOPs 减少 12%
• Suffix Cache Reuse: 服务端算力 降低 35%

保留意见

可能 丢弃关键信息;可编辑上下文成为 新的提示注入渠道;改写会 使缓存失效。

启示

1. 上下文就是成本:衡量 token 与 FLOPs
2. 试验上下文策略
3. 上下文即攻击面:校验并记录编辑
4. 注意缓存

来源

• arXiv 2609.37725 (Context Language Models): https://arxiv.org/abs/2609.37725
• GitHub, facebookresearch/context-language-models: https://github.com/facebookresearch/context-language-models
• InfoQ (2026-10-11): https://www.infoq.com/news/2026/10/context-language-models/

---

想优化 AI 智能体的成本与可靠性吗?KGA IT 提供免费咨询:kga-it.com