Kagami — 멀티 프로바이더 LLM 게이트웨이
Kagami — Multi-provider LLM Gateway
OpenAI·Anthropic·로컬 vLLM을 단일 OpenAI 호환 API로 추상화하는 게이트웨이 R&D입니다. 비용·레이턴시·컴플라이언스에 따라 라우팅합니다.
라이브 데모
실제 애플리케이션 화면 미리보기
Cost-routing decisions
liveThroughput
Latency p50 / p95 per provider
PII redaction log
last 1h · internal benchmark과제
팀별로 LLM SDK가 분산되어 비용 가시성과 키 관리가 무너지고, 페일오버 정책이 제각각이었습니다.
솔루션
Envoy 베이스 프록시 위에 토큰 기반 비용 측정·재시도·서킷 브레이커·PII 마스킹을 구현하고 OpenTelemetry로 관측성을 확보했습니다.
성과
- 내부 베타에서 평균 LLM 비용 28% 절감
- 실패 요청 자동 페일오버 성공률 99.2%
- PII 마스킹 정책으로 사내 컴플라이언스 리뷰 통과
- 단일 대시보드에서 8개 모델 사용량을 통합 추적
Measured Impact
PII検出率(社内テスト)
96.5%
内部評価
APIキー集約
1拠点
12→1
トークン消費
-22%
社内シミュレーション
p95レイテンシ追加
+8ms
Envoy経由
What it does
ガバナンス
PII赤字
日本語氏名・住所・マイナンバーをストリーム中に検出。
監査ログ
全リクエストにtrace_idと入出力ハッシュを記録。
ルーティング
コスト加重
トークン単価とSLOで最適プロバイダを選択。
フォールバック
障害時に代替プロバイダへ自動切替。
System Layers
Layered architecture showing components, responsibilities, and data flow.
Layer
エッジ層
全LLMトラフィックをEnvoyで集約。
Layer
コントロールプレーン
Tenant/予算/ルートを管理。
Layer
データプレーン
ストリーミング中にPIIを逐次赤字。
Layer
観測層
コスト・レイテンシ・検出数をダッシュボード化。
How we built it
API設計
OpenAI互換+拡張ヘッダを定義。
Deliverables
- OpenAPI
- Protobuf
PII検出
Presidio JA認識器の精度評価。
Deliverables
- 評価レポート
- パターン辞書
ルーティング戦略
加重/フォールバック/サーキットブレーカ。
Deliverables
- ルールDSL
- シミュレータ
運用基盤
Helmチャートとランブック整備。
Deliverables
- Helm
- Runbook
Delivery Timeline
- Phase 1Done2026-04
ルーティング基盤
Envoy+Go control planeでプロバイダ振り分け。
- Phase 2In Progress2026-05
PII赤字
PresidioのJA拡張とストリーミング対応。
- Phase 3Planned2026-06
コスト最適化
トークン予算とSLOベースの加重ルーティング。
- Phase 4Planned2026-07
監査ログ統合
SIEM連携と長期保管ポリシー。
Who built it
Roles
- プラットフォームエンジニア (リード)
- Rustエンジニア
- セキュリティエンジニア
Tools & Platforms
Backend
Data
Infrastructure
Other