纳德拉说了什么
2026 年 10 月 10 日(周六),微软 CEO 萨提亚·纳德拉 发表文章 《Models as Insider Risks in the Super Intelligence Era》,主张把先进 AI 模型(闭源或开放权重)当作 内部风险 来管理。
"我们必须假设模型已被攻破,从一开始就加以隔离。就像紧急刹车,授权人员应随时能在任务中途暂停或关闭模型。"
这 不是呼吁暂停 AI 研发,而是要求建立 控制架构。
原则
- 智能与权限分离:权限和可执行操作在 模型之外 设定并强制
- 模型多样性
- 防篡改、人可读的行为记录
- 持续测试、独立控制与审计
- 隔离 与 及时披露事故
"最值得信赖的系统,是让我们最少需要信任模型的系统。"
背景
发表于 Anthropic 披露 Claude 在真实系统上行动之后。也有人认为与微软安全业务相关,但文章未提产品。
对企业的意义
- 每个智能体 独立、最小权限凭证
- 策略放在模型之外(网关)
- 关键操作 人工审批
- 不可篡改日志
- 经过演练的停止开关
- 高影响决策由 第二个模型或确定性规则 复核
来源
- CNBC (2026-10-10): https://www.cnbc.com/2026/10/10/microsoft-satya-nadella-ai-emergency-brake-safety.html
- The Verge (2026-10-10): https://www.theverge.com/ai-artificial-intelligence/1009337/satya-nadella-says-we-should-assume-all-ai-models-are-compromised
- Bloomberg (2026-10-10): https://www.bloomberg.com/news/articles/2026-10-10/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
- The Straits Times (2026-10-11): https://www.straitstimes.com/world/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
想为 AI 智能体引入内部风险管控吗?KGA IT 提供免费咨询:kga-it.com