Kagami — マルチプロバイダLLMゲートウェイ
Kagami — Multi-provider LLM Gateway
複数LLMプロバイダを統一APIで束ね、PII赤字、コスト最適ルーティング、レート制御、監査ログを備える社内LLMゲートウェイ。GoのコントロールプレーンとRustのデータプレーン、Envoy外部認可、Microsoft Presidioによる日本語対応PII検出を組み合わせる。
ライブデモ
実際のアプリケーション画面のプレビュー
Cost-routing decisions
liveThroughput
Latency p50 / p95 per provider
PII redaction log
last 1h · internal benchmark課題
複数アプリからOpenAI/Anthropic/Bedrock/ローカルvLLMを直接叩くと、APIキー管理、コスト集計、PII漏洩リスク、レート制御が各チームに分散し、監査とガバナンスが困難だった。
ソリューション
Envoy ext_authzでリクエストを集約し、GoのコントロールプレーンでTenantルールとコスト上限を評価、Rustデータプレーンでストリーミング応答を逐次PII赤字。Presidioに日本語認識器(氏名・住所・マイナンバー)を追加し、トークンコストとレイテンシに基づく加重ルーティングを実装。
成果
- 社内アプリのAPIキー管理拠点を12→1に集約
- PII赤字でテスト文書の個人情報検出率96.5%(内部評価)
- コストルーティングで月額トークン消費を推定-22%に抑制(社内シミュレーション)
- 全リクエストにtrace_idと監査ログを付与しSIEM連携を実現
Measured Impact
PII検出率(社内テスト)
96.5%
内部評価
APIキー集約
1拠点
12→1
トークン消費
-22%
社内シミュレーション
p95レイテンシ追加
+8ms
Envoy経由
What it does
ガバナンス
PII赤字
日本語氏名・住所・マイナンバーをストリーム中に検出。
監査ログ
全リクエストにtrace_idと入出力ハッシュを記録。
ルーティング
コスト加重
トークン単価とSLOで最適プロバイダを選択。
フォールバック
障害時に代替プロバイダへ自動切替。
System Layers
Layered architecture showing components, responsibilities, and data flow.
Layer
エッジ層
全LLMトラフィックをEnvoyで集約。
Layer
コントロールプレーン
Tenant/予算/ルートを管理。
Layer
データプレーン
ストリーミング中にPIIを逐次赤字。
Layer
観測層
コスト・レイテンシ・検出数をダッシュボード化。
How we built it
API設計
OpenAI互換+拡張ヘッダを定義。
Deliverables
- OpenAPI
- Protobuf
PII検出
Presidio JA認識器の精度評価。
Deliverables
- 評価レポート
- パターン辞書
ルーティング戦略
加重/フォールバック/サーキットブレーカ。
Deliverables
- ルールDSL
- シミュレータ
運用基盤
Helmチャートとランブック整備。
Deliverables
- Helm
- Runbook
Delivery Timeline
- Phase 1Done2026-04
ルーティング基盤
Envoy+Go control planeでプロバイダ振り分け。
- Phase 2In Progress2026-05
PII赤字
PresidioのJA拡張とストリーミング対応。
- Phase 3Planned2026-06
コスト最適化
トークン予算とSLOベースの加重ルーティング。
- Phase 4Planned2026-07
監査ログ統合
SIEM連携と長期保管ポリシー。
Who built it
Roles
- プラットフォームエンジニア (リード)
- Rustエンジニア
- セキュリティエンジニア
Tools & Platforms
Backend
Data
Infrastructure
Other