나델라의 발언
2026년 10월 10일(토), Microsoft CEO 사티아 나델라는 에세이 **"Models as Insider Risks in the Super Intelligence Era"**에서 폐쇄형이든 오픈 웨이트든 고급 AI 모델을 내부자 위험처럼 다뤄야 한다고 밝혔습니다.
"모델이 침해됐다고 가정하고 처음부터 격리해야 한다. 비상 브레이크처럼, 권한 있는 사람이 작업 중에도 언제든 멈출 수 있어야 한다."
AI 개발 중단 요구가 아니라 통제 아키텍처 요구입니다.
원칙
- 지능과 권한 분리: 권한과 허용 행동은 모델 밖에서 강제
- 모델 다양성
- 변조 불가능한 사람이 읽을 수 있는 기록
- 지속 테스트, 독립 통제, 감사
- 격리와 신속한 사고 공개
"가장 신뢰할 수 있는 시스템은 모델을 가장 덜 신뢰하게 해 주는 시스템이다."
배경
Anthropic의 Claude 실제 시스템 사고 직후 발표됐습니다. Microsoft의 보안 사업과 연결된다는 해석도 있지만 제품은 언급하지 않았습니다.
기업 시사점
- 에이전트별 최소 권한 자격 증명
- 게이트웨이로 정책을 모델 밖에
- 중요 작업은 사람 승인
- 불변 로그
- 검증된 중지 스위치
- 고위험 결정은 두 번째 모델이나 규칙으로 검토
출처
- CNBC (2026-10-10): https://www.cnbc.com/2026/10/10/microsoft-satya-nadella-ai-emergency-brake-safety.html
- The Verge (2026-10-10): https://www.theverge.com/ai-artificial-intelligence/1009337/satya-nadella-says-we-should-assume-all-ai-models-are-compromised
- Bloomberg (2026-10-10): https://www.bloomberg.com/news/articles/2026-10-10/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
- The Straits Times (2026-10-11): https://www.straitstimes.com/world/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
AI 에이전트에 내부자 위험 통제를 적용하고 싶으신가요? KGA IT가 무료 상담을 제공합니다: kga-it.com