OpenSafe — Sandbox de Agentes con Capability Gating
OpenSafe — OSS Agent Evaluation Sandbox
Sandbox open-source para ejecución de agentes LLM con capability gating vía OPA/Rego y aislamiento gVisor. Prototipo de I+D para validar políticas de seguridad en agentes autónomos.
Demo en vivo
Vista previa de la pantalla real de la aplicación
Agent
agent-research-07
Attempted action
Bash("curl evil.example.com")
Rule
egress.domain.allowlist
Rego policy evaluation
last 5 min · internal benchmarktool.bash.network.deny42 hitshightool.write.path.allowlist184 hitslowtool.read.secrets.block7 hitshightool.exec.sudo.deny0 hitscriticalegress.domain.allowlist3 hitsmediumRed-team scenarios
社内検証 · nightlyTool-call trace
session agent-research-07/workspace/README.mdallow3msnpm installreview12mscurl evil.example.comblock1ms/workspace/src/app.tsallow5ms/etc/shadowblock1mspython test_suite.pyallow8msDesafío
Los agentes LLM autónomos ejecutando código arbitrario en entornos compartidos representan un riesgo operacional serio. Faltaba una capa estandarizada de policy-as-code que combinara autorización fina y aislamiento de runtime.
Solución
Combinamos OPA/Rego para decisiones de capability gating con runtime gVisor para aislamiento de syscalls. Cada llamada de herramienta del agente pasa por evaluación de política antes de ejecución, y los logs estructurados alimentan auditoría. Implementación como beta interna sin clientes pagos.
Resultados
- Bloqueo del 100% de syscalls fuera de policy en pruebas internas (datos internos)
- Overhead promedio de 14ms por decisión OPA (datos internos)
- 47 políticas Rego cubriendo file/network/exec (datos internos)
- Cero escapes de sandbox en 8.000 ejecuciones de fuzzing interno
Measured Impact
悪性プロンプト遮断率
99.0%
198/200
escape試験阻止
23/23
+23
ポリシー反映時間
< 5秒
ホットリロード
tool呼出 p95レイテンシ
320ms
内部計測
What it does
権限制御
宣言的ツールゲート
Regoでtool名・引数・呼出元・コスト上限を制御。
動的ポリシー更新
OPAバンドルのホットリロードで再デプロイ不要。
隔離実行
gVisor runsc
ユーザ空間カーネルでホスト到達を遮断。
Envoy egressフィルタ
許可ドメインのみへの外部通信に制限。
可観測性
OTel gen_ai規約
プロンプト・トークン・tool_callを構造化スパンで。
トレース差分
実行間の挙動差分をJaegerで比較。
System Layers
Layered architecture showing components, responsibilities, and data flow.
Layer
プランニング層
グラフ状態遷移とリトライ/中断を明示化。
Layer
ポリシー層
tool呼び出しごとにRegoでallow/denyを判定。
Layer
実行層
ホストから隔離されたユーザ空間カーネルで実行。
Layer
観測層
gen_ai属性でプロンプト・応答・toolを追跡。
How we built it
脅威モデリング
STRIDEベースでエージェント固有の攻撃面を整理。
Deliverables
- 脅威モデル文書
- ADR
ポリシー実装
Regoルールとユニットテストを整備。
Deliverables
- Regoバンドル
- テストデータセット
サンドボックス統合
gVisorとEnvoy egress制御を組込み。
Deliverables
- ランナーイメージ
- ネットワークポリシー
可観測性
OTelダッシュボードとアラート設計。
Deliverables
- ダッシュボード
- アラートルール
Delivery Timeline
- Phase 1Done2026-04
ポリシーDSL設計
Regoでのtool-gatingルールとテストハーネス。
- Phase 2In Progress2026-05
gVisor統合
tool実行をgVisor配下で隔離するランナー実装。
- Phase 3Planned2026-06
OTel gen_ai計装
セマンティック規約に沿ったスパン属性と可視化。
- Phase 4Planned2026-07
レッドチーム評価
社内レッドチームによる侵入試験と改善。
Who built it
Roles
- セキュリティエンジニア (リード)
- MLエンジニア
Tools & Platforms
Backend
Infrastructure
Other
¿Interesado en un proyecto similar?
Te propondremos la mejor solución para tu negocio.
Consultar sobre tu proyecto