Skip to content
K
KGAIT Solutions
Listahan ng Mga Proyekto
Internal na R&DBeta

Kagami — Multi-provider LLM Gateway

Kagami — Multi-provider LLM Gateway

Internal na R&D para sa LLM gateway na nagro-route sa pagitan ng providers na may caching at failover.

2026 4 na buwang internal beta 2026-04
#LLMゲートウェイ#PII#コスト最適化#Envoy#マルチプロバイダ

Live Demo

Preview ng aktwal na screen ng application

DEMO
app.llm.jp/dashboard
OpenAI
gpt-4o-mini
healthy318ms
Anthropic
claude-haiku-4.5
healthy412ms
Bedrock
titan-express
degraded1.2s
local vLLM
qwen2.5-32b-it
healthy184ms

Cost-routing decisions

live
req_8f4aSummarize quarterly earnings…→ claude-haiku-4.5$0.04
req_8f49Generate SQL for revenue report→ local/qwen2.5-32b$0.12
req_8f48Translate JP → EN legal clause→ gpt-4o—
req_8f47Classify support ticket intent→ local/qwen2.5-32b$0.08
req_8f46Extract entities from contract→ claude-haiku-4.5$0.03
saved today: $18.42 34% cost reduction vs single-model

Throughput

-1h-30mnow
current rps130
peak (5m)148
avg tokens/req428

Latency p50 / p95 per provider

OpenAIp50 280ms · p95 520ms
Anthropicp50 360ms · p95 680ms
Bedrockp50 1100ms · p95 2400ms
vLLMp50 150ms · p95 290ms
Circuit breakers
openai.chat0/20
anthropic.messages1/20
bedrock.titan12/20
vllm.local0/20

PII redaction log

last 1h · internal benchmark
emailuser@●●●●●.com×42
phone_jp090-●●●●-●●●●×18
credit_card4●●● ●●●● ●●●● ●●42×3
my_number●●●●-●●●●-●●●●×1
ip_address192.168.●●●.●●●×11
75 PII tokens redacted · 0 leaks to provider APIs · presidio + regex rules

Hamon

Pag-isahin ang access sa maraming LLM providers (OpenAI, Anthropic, local) na may caching, failover, at cost controls nang walang vendor lock-in.

Solusyon

Gateway na may unified API, semantic cache, policy-based router, at token meter — sinubok laban sa 4 providers sa internal beta.

Mga Resulta

  • Internal benchmark: gateway latency p50 <25ms vs direct calls
  • Semantic cache nagbawas ng ~30% repeat calls sa internal load tests
  • Automatic failover na-validate sa 4 providers sa internal pilot
  • Internal R&D lang — walang paying client
Key Metrics

Measured Impact

PII検出率(社内テスト)

96.5%

内部評価

APIキー集約

1拠点

12→1

トークン消費

-22%

社内シミュレーション

p95レイテンシ追加

+8ms

Envoy経由

Features

What it does

ガバナンス

PII赤字

日本語氏名・住所・マイナンバーをストリーム中に検出。

監査ログ

全リクエストにtrace_idと入出力ハッシュを記録。

ルーティング

コスト加重

トークン単価とSLOで最適プロバイダを選択。

フォールバック

障害時に代替プロバイダへ自動切替。

Architecture

System Layers

Layered architecture showing components, responsibilities, and data flow.

L1

Layer

エッジ層

全LLMトラフィックをEnvoyで集約。

Envoyext_authzTLS終端
L2

Layer

コントロールプレーン

Tenant/予算/ルートを管理。

GogRPCPostgreSQLVault
L3

Layer

データプレーン

ストリーミング中にPIIを逐次赤字。

RustTokioPresidio JA
L4

Layer

観測層

コスト・レイテンシ・検出数をダッシュボード化。

OpenTelemetryPrometheusLoki
Development Process

How we built it

Step 1

API設計

OpenAI互換+拡張ヘッダを定義。

Deliverables

  • OpenAPI
  • Protobuf
Step 2

PII検出

Presidio JA認識器の精度評価。

Deliverables

  • 評価レポート
  • パターン辞書
Step 3

ルーティング戦略

加重/フォールバック/サーキットブレーカ。

Deliverables

  • ルールDSL
  • シミュレータ
Step 4

運用基盤

Helmチャートとランブック整備。

Deliverables

  • Helm
  • Runbook
Roadmap

Delivery Timeline

  • Phase 1Done2026-04

    ルーティング基盤

    Envoy+Go control planeでプロバイダ振り分け。

  • Phase 2In Progress2026-05

    PII赤字

    PresidioのJA拡張とストリーミング対応。

  • Phase 3Planned2026-06

    コスト最適化

    トークン予算とSLOベースの加重ルーティング。

  • Phase 4Planned2026-07

    監査ログ統合

    SIEM連携と長期保管ポリシー。

Team

Who built it

3engineers

Roles

  • プラットフォームエンジニア (リード)
  • Rustエンジニア
  • セキュリティエンジニア
Tech Stack

Tools & Platforms

Backend

Go 1.22Rust

Data

RedisPostgreSQL

Infrastructure

OpenTelemetryKubernetes

Other

Envoyext_authzMicrosoft PresidiogRPCProtobufHelmVault
Nakaraang ProyektoSusunod na Proyekto
Build with KGA

Interesado ka ba sa katulad na proyekto?

Mag-aalok kami ng pinakamahusay na solusyon para sa iyong negosyo.

Pag-usapan ang Iyong Proyekto