A ideia
Agentes de IA que trabalham por horas enchem a janela de contexto. Hoje a solução vem de fora do modelo: resumos automáticos, compactação por regras, memória externa e RAG. Um artigo publicado no arXiv em 29 de setembro de 2026 por pesquisadores da University of Washington, Meta Superintelligence Labs, MIT e Trillium Labs, e repercutido pela InfoQ em 11 de outubro, propõe outra coisa: os Context Language Models (CLMs).
Num CLM, o contexto é tratado como um arquivo que o próprio modelo pode reescrever livremente: apagar resultados intermediários inúteis, manter fatos importantes, escrever notas de progresso, registrar experimentos que falharam. O modelo aprende o que vale a pena manter, em vez de seguir uma regra fixa. Em sistemas multiagente, cada agente tem seu contexto como um arquivo.
O código está aberto no GitHub (facebookresearch/context-language-models, ~680 estrelas).
Os resultados reportados
Sem treino extra (zero-shot), usando modelos existentes:
- BrowseComp-Plus: +11,4% de acurácia com 21,5% menos FLOPs.
- EdgeBench de 12 horas: +5% de pontuação com 59% menos FLOPs.
- Tarefa de 24 horas com enxame de agentes em vários repositórios: 65% mais melhoria com o mesmo compute.
Outros resultados:
- Instruções em linguagem natural refinadas num ciclo de otimização de "skills" melhoraram a acurácia em até 35,9 pontos numa tarefa de gestão de contexto.
- Aprendizado por reforço levou o Qwen3.5-9B de 28,8% para 42,5% no BrowseComp-Plus (+47,6% relativo) usando 12% menos FLOPs.
- Um mecanismo de servidor, o Suffix Cache Reuse, cortou 35% do compute em relação ao SGLang padrão.
As ressalvas
Os próprios autores apontam:
- O modelo pode descartar informação importante que depois não consegue recuperar.
- Um contexto editável vira novo canal para prompt injection: instruções maliciosas ou autogeradas podem persistir entre turnos.
- Mais controle não garante melhores decisões sobre o que guardar.
Críticos lembram que os ganhos vêm de tarefas específicas e que reescrever o contexto invalida o cache do modelo, o que encarece a inferência em produção. A técnica de cache dos autores tenta compensar, com limitações.
Por que isso importa
Junto com o Metis, da MemTensor, e outras propostas desta temporada, o CLM mostra uma tendência clara: memória e contexto estão migrando do "harness" para o próprio modelo. Para quem constrói agentes:
- Contexto é custo: medir tokens e FLOPs por tarefa já é tão importante quanto medir acurácia.
- Teste estratégias de contexto (resumo, notas de progresso, poda) nos seus próprios fluxos; o artigo mostra que só instruir bem o modelo já ajuda.
- Trate o contexto como superfície de ataque: se o agente pode reescrever as próprias notas, conteúdo malicioso pode ficar "gravado". Valide e registre essas edições.
- Cuidado com o cache: reescrever o início do contexto pode anular descontos de prompt caching.
Fontes
- arXiv 2609.37725 (Context Language Models): https://arxiv.org/abs/2609.37725
- GitHub, facebookresearch/context-language-models: https://github.com/facebookresearch/context-language-models
- InfoQ (2026-10-11): https://www.infoq.com/news/2026/10/context-language-models/
Quer otimizar custo e confiabilidade dos seus agentes de IA? A KGA IT oferece uma consulta gratuita: kga-it.com.