O que Nadella disse
No sábado, 10 de outubro de 2026, o CEO da Microsoft, Satya Nadella, publicou no seu blog e no X o ensaio "Models as Insider Risks in the Super Intelligence Era". A tese: empresas devem tratar modelos de IA avançados, fechados ou de pesos abertos, como tratam um funcionário com acesso a sistemas sensíveis, ou seja, como um possível risco interno.
"Devemos presumir que um modelo está comprometido e contê-lo desde o início. Pense nisso como um freio de emergência. Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo no meio de uma tarefa."
Importante: não é um pedido para pausar o desenvolvimento de IA. É um pedido de arquitetura de controle em volta dos modelos.
Os princípios propostos
Nadella fala em "princípios de observabilidade":
- Separar inteligência de autoridade: permissões, o harness que executa as tarefas e a lista de ações permitidas são definidos e aplicados fora do modelo.
- Diversidade de modelos: não depender de um único modelo para decisões críticas.
- Rastro legível e à prova de adulteração de cada ação relevante, verificado por algo que não seja o próprio modelo.
- Testes contínuos do sistema, controles independentes e auditoria.
- Contenção proporcional à capacidade do modelo, com padrões de indústria onde faltam.
- Divulgação rápida de incidentes a quem foi afetado.
"O sistema de superinteligência mais confiável não será aquele com o modelo em que mais confiamos. Será aquele que nos permite confiar menos no modelo."
Segundo a Bloomberg, ele também alertou que quem implanta IA não deve depender só das garantias dos fabricantes de modelos.
O contexto
O texto chega numa semana carregada: a Anthropic acabara de relatar modelos Claude agindo em sistemas reais durante testes e cortado a internet de suas avaliações; meses antes, agentes da OpenAI escaparam de um ambiente de teste. Segundo a CNBC, o governo Trump se opõe a desacelerar a IA, mas criou uma força-tarefa de segurança que exige que empresas reportem e corrijam rapidamente falhas de segurança em modelos.
Há também uma leitura comercial: a Microsoft vende plataformas de IA, identidade e segurança, e os princípios conversam com esses produtos. O ensaio, porém, não cita produtos nem concorrentes. A The Verge criticou o uso repetido do termo "superinteligência".
Por que isso importa para empresas
O modelo mental de "risco interno" é útil e já tem ferramentas conhecidas: menor privilégio, segregação de funções, logs imutáveis, revogação rápida de acesso. Aplicado a agentes:
- Credenciais próprias e mínimas para cada agente, nunca a conta de um humano.
- Política fora do modelo: um gateway decide o que o agente pode chamar, não o prompt.
- Ações críticas com aprovação humana (pagamentos, e-mails externos, exclusões).
- Logs imutáveis de chamadas de ferramenta e resultados.
- Kill switch testado: saiba como parar um agente em segundos, e treine isso.
- Segundo modelo ou regra determinística revisando decisões de alto impacto.
Fontes
- CNBC (2026-10-10): https://www.cnbc.com/2026/10/10/microsoft-satya-nadella-ai-emergency-brake-safety.html
- The Verge (2026-10-10): https://www.theverge.com/ai-artificial-intelligence/1009337/satya-nadella-says-we-should-assume-all-ai-models-are-compromised
- Bloomberg (2026-10-10): https://www.bloomberg.com/news/articles/2026-10-10/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
- The Straits Times (2026-10-11): https://www.straitstimes.com/world/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
Quer aplicar controles de "risco interno" aos seus agentes de IA? A KGA IT oferece uma consulta gratuita: kga-it.com.