Context Language Models: mô hình tự chỉnh sửa ngữ cảnh, chính xác hơn và tốn ít tính toán hơn

Ý tưởng

Tác tử chạy hàng giờ làm đầy cửa sổ ngữ cảnh; giải pháp hiện nay nằm bên ngoài mô hình. Bài báo arXiv ngày 29/9/2026 (University of Washington, Meta, MIT, Trillium Labs), được InfoQ đưa tin ngày 11/10, đề xuất Context Language Models (CLM): ngữ cảnh là một tệp mà mô hình tự do viết lại. Mã nguồn trên GitHub (facebookresearch/context-language-models).

Kết quả

• Zero-shot: +11,4% độ chính xác BrowseComp-Plus với ít hơn 21,5% FLOPs; +5% EdgeBench 12 giờ với ít hơn 59% FLOPs.
• RL: Qwen3.5-9B từ 28,8% lên 42,5%.
• Suffix Cache Reuse: giảm 35% tính toán máy chủ.

Lưu ý

Có thể bỏ mất thông tin quan trọng, ngữ cảnh chỉnh sửa được là kênh prompt injection mới, và viết lại làm mất hiệu lực cache.

Với người xây tác tử

1. Ngữ cảnh là chi phí.
2. Thử nghiệm chiến lược ngữ cảnh.
3. Ngữ cảnh = bề mặt tấn công.
4. Chú ý cache.

Nguồn

• arXiv 2609.37725 (Context Language Models): https://arxiv.org/abs/2609.37725
• GitHub, facebookresearch/context-language-models: https://github.com/facebookresearch/context-language-models
• InfoQ (2026-10-11): https://www.infoq.com/news/2026/10/context-language-models/

---

Bạn muốn tối ưu chi phí và độ tin cậy của tác tử AI? KGA IT cung cấp tư vấn miễn phí: kga-it.com.