Qué dijo Nadella
El sábado 10 de octubre de 2026, el CEO de Microsoft, Satya Nadella, publicó el ensayo "Models as Insider Risks in the Super Intelligence Era": las empresas deben tratar los modelos avanzados, cerrados o abiertos, como un riesgo interno.
"Debemos asumir que un modelo está comprometido y contenerlo desde el inicio. Piénselo como un freno de emergencia."
No pide pausar el desarrollo de IA, sino una arquitectura de control.
Principios
- Separar inteligencia de autoridad: permisos y acciones definidos fuera del modelo.
- Diversidad de modelos en decisiones críticas.
- Registro legible e inalterable de cada acción.
- Pruebas continuas, controles independientes y auditoría.
- Contención y divulgación rápida de incidentes.
"El sistema más confiable será el que nos permita confiar menos en el modelo."
Contexto
Llega tras los incidentes de Anthropic con Claude en sistemas reales. Hay también una lectura comercial (Microsoft vende plataformas de seguridad), aunque el texto no cita productos.
Para las empresas
- Credenciales propias y mínimas por agente.
- Política fuera del modelo mediante un gateway.
- Aprobación humana en acciones críticas.
- Logs inmutables.
- Interruptor de parada probado.
- Segundo modelo o regla determinista en decisiones de alto impacto.
Fuentes
- CNBC (2026-10-10): https://www.cnbc.com/2026/10/10/microsoft-satya-nadella-ai-emergency-brake-safety.html
- The Verge (2026-10-10): https://www.theverge.com/ai-artificial-intelligence/1009337/satya-nadella-says-we-should-assume-all-ai-models-are-compromised
- Bloomberg (2026-10-10): https://www.bloomberg.com/news/articles/2026-10-10/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
- The Straits Times (2026-10-11): https://www.straitstimes.com/world/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
¿Quiere aplicar controles de riesgo interno a sus agentes de IA? KGA IT ofrece una consulta gratuita: kga-it.com.