Kagami — 多供应商 LLM 网关
Kagami — Multi-provider LLM Gateway
将 OpenAI、Anthropic、本地 vLLM 抽象为统一 OpenAI 兼容 API 的网关研发原型,根据成本、延迟与合规要求进行路由。
在线演示
实际应用界面预览
Cost-routing decisions
liveThroughput
Latency p50 / p95 per provider
PII redaction log
last 1h · internal benchmark挑战
各团队 LLM SDK 分散,成本可见性与密钥管理失控,故障切换策略不统一。
解决方案
在基于 Envoy 的代理之上实现按 token 计费、重试、熔断与 PII 脱敏,并通过 OpenTelemetry 提供可观测性。
成果
- 内部 Beta 中平均 LLM 成本下降 28%
- 失败请求自动故障转移成功率 99.2%
- PII 脱敏策略通过公司内部合规审查
- 在统一仪表板上汇总跟踪 8 个模型的使用情况
Measured Impact
PII検出率(社内テスト)
96.5%
内部評価
APIキー集約
1拠点
12→1
トークン消費
-22%
社内シミュレーション
p95レイテンシ追加
+8ms
Envoy経由
What it does
ガバナンス
PII赤字
日本語氏名・住所・マイナンバーをストリーム中に検出。
監査ログ
全リクエストにtrace_idと入出力ハッシュを記録。
ルーティング
コスト加重
トークン単価とSLOで最適プロバイダを選択。
フォールバック
障害時に代替プロバイダへ自動切替。
System Layers
Layered architecture showing components, responsibilities, and data flow.
Layer
エッジ層
全LLMトラフィックをEnvoyで集約。
Layer
コントロールプレーン
Tenant/予算/ルートを管理。
Layer
データプレーン
ストリーミング中にPIIを逐次赤字。
Layer
観測層
コスト・レイテンシ・検出数をダッシュボード化。
How we built it
API設計
OpenAI互換+拡張ヘッダを定義。
Deliverables
- OpenAPI
- Protobuf
PII検出
Presidio JA認識器の精度評価。
Deliverables
- 評価レポート
- パターン辞書
ルーティング戦略
加重/フォールバック/サーキットブレーカ。
Deliverables
- ルールDSL
- シミュレータ
運用基盤
Helmチャートとランブック整備。
Deliverables
- Helm
- Runbook
Delivery Timeline
- Phase 1Done2026-04
ルーティング基盤
Envoy+Go control planeでプロバイダ振り分け。
- Phase 2In Progress2026-05
PII赤字
PresidioのJA拡張とストリーミング対応。
- Phase 3Planned2026-06
コスト最適化
トークン予算とSLOベースの加重ルーティング。
- Phase 4Planned2026-07
監査ログ統合
SIEM連携と長期保管ポリシー。
Who built it
Roles
- プラットフォームエンジニア (リード)
- Rustエンジニア
- セキュリティエンジニア
Tools & Platforms
Backend
Data
Infrastructure
Other