Context Language Models: 스스로 컨텍스트를 편집하는 모델, 정확도는 높이고 연산은 줄이다

아이디어

몇 시간씩 일하는 에이전트는 컨텍스트를 가득 채우며, 현재 해법은 모델 바깥(요약, 압축, RAG)에 있습니다. 2026년 9월 29일 arXiv에 공개되고 10월 11일 InfoQ가 보도한 University of Washington·Meta Superintelligence Labs·MIT·Trillium Labs 논문은 **Context Language Models(CLM)**를 제안합니다. 컨텍스트를 파일로 취급해 모델이 자유롭게 다시 쓰며 무엇을 남길지 학습합니다. 코드는 GitHub(facebookresearch/context-language-models)에 공개.

결과

• 제로샷: BrowseComp-Plus 정확도 +11.4%, FLOPs 21.5% 감소; 12시간 EdgeBench +5%, FLOPs 59% 감소
• 최적화된 지시: 최대 +35.9포인트
• 강화학습: Qwen3.5-9B 28.8% → 42.5%, FLOPs 12% 감소
• Suffix Cache Reuse: 서버 연산 35% 절감

단서

중요 정보 폐기 위험, 편집 가능한 컨텍스트는 새 프롬프트 인젝션 경로, 재작성 시 캐시 무효화.

시사점

1. 컨텍스트는 비용: 토큰과 FLOPs 측정
2. 컨텍스트 전략 실험
3. 컨텍스트 = 공격 표면: 편집 검증·기록
4. 캐시 주의

출처

• arXiv 2609.37725 (Context Language Models): https://arxiv.org/abs/2609.37725
• GitHub, facebookresearch/context-language-models: https://github.com/facebookresearch/context-language-models
• InfoQ (2026-10-11): https://www.infoq.com/news/2026/10/context-language-models/

---

AI 에이전트의 비용과 신뢰성을 최적화하고 싶으신가요? KGA IT가 무료 상담을 제공합니다: kga-it.com