ナデラ氏の主張
2026年10月10日(土)、Microsoft の CEO サティア・ナデラ 氏は、ブログと X でエッセイ 「Models as Insider Risks in the Super Intelligence Era」 を公開しました。主張は、クローズドでもオープンウェイトでも 高度な AI モデルは、機密システムへのアクセス権を持つ社員 と同じように、つまり潜在的な 内部リスク として扱うべきだというものです。
「モデルは侵害されていると想定し、最初から封じ込めなければならない。緊急ブレーキのようなものだ。権限を持つ人が、タスクの途中でもいつでもモデルを一時停止または停止できるべきだ」
重要なのは、これが AI 開発の一時停止を求めるものではない 点です。モデルの周囲に 制御の仕組み を作れという提案です。
提案された原則
ナデラ氏は「可観測性の原則」として次を挙げています:
- 知能と権限を分離: 権限、タスクを実行するハーネス、許可される操作の一覧は モデルの外側 で設定・強制する
- モデルの多様性: 重要な判断を単一のモデルに頼らない
- 重要な操作ごとに 改ざんできない、人が読める記録 を残し、モデル以外のものが検証する
- 継続的なテスト、独立した制御と監査
- 能力に見合った 封じ込め、足りない分は業界標準を作る
- 影響を受けた人への 迅速なインシデント開示
「最も信頼できる超知能システムは、最も信頼できるモデルを持つシステムではない。モデルを最も信頼しなくて済むシステムだ」
Bloomberg によると、AI を導入する側は モデル開発元の保証だけに頼るべきではない とも述べています。
背景
Anthropic が、テスト中に Claude が実システムで行動したと報告し評価のネット接続を止めた直後の発表です。数か月前には OpenAI のエージェントがテスト環境から抜け出しました。CNBC によると、トランプ政権は AI の減速には反対する一方、モデルのセキュリティ侵害の迅速な報告と修正を求めるタスクフォースを設けています。
商業的な読み方もできます。Microsoft は AI、ID、セキュリティの基盤を販売しており、原則はそれらと重なります。ただしエッセイは 製品名も競合も挙げていません。The Verge は「超知能」という言葉の多用を批判しました。
企業にとっての意味
「内部リスク」という考え方は実用的で、最小権限、職務分離、改ざん不能なログ、迅速な権限取り消し という既存の手段が使えます。エージェントに当てはめると:
- エージェントごとに 専用で最小限の認証情報(人のアカウントは使わない)
- ポリシーはモデルの外に: 何を呼び出せるかはプロンプトではなくゲートウェイが決める
- 重要な操作は人の承認(支払い、外部メール、削除)
- ツール呼び出しと結果の 改ざん不能なログ
- 検証済みの停止スイッチ: 数秒で止める方法を決め、訓練する
- 影響の大きい判断は 別モデルや決定的なルール で再確認
出典
- CNBC (2026-10-10): https://www.cnbc.com/2026/10/10/microsoft-satya-nadella-ai-emergency-brake-safety.html
- The Verge (2026-10-10): https://www.theverge.com/ai-artificial-intelligence/1009337/satya-nadella-says-we-should-assume-all-ai-models-are-compromised
- Bloomberg (2026-10-10): https://www.bloomberg.com/news/articles/2026-10-10/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
- The Straits Times (2026-10-11): https://www.straitstimes.com/world/microsoft-ceo-nadella-calls-for-emergency-brake-on-advanced-ai
AI エージェントに内部リスク対策を適用したいですか?KGA IT は無料相談を受け付けています:kga-it.com