Langkau ke kandungan
Senarai Portfolio
AI / Pembelajaran MesinBeta

AIRA — Platform Chatbot AI

AIRA — Multi-tenant Conversational AI Platform

SaaS penyelidikan yang mengautomasikan sokongan pelanggan. Menggunakan pemprosesan bahasa semula jadi untuk membina sistem tindak balas pelanggan 24/7.

2026 4 bulan 2026-03
#RAG#Vector Search#LLM Gateway#Streaming#Observability#Multi-tenant

Demo Langsung

Pratonton skrin aplikasi sebenar

DEMO
app.aira.jp/dashboard
Perbualan hari ini
2,847
+12%
Purata masa respons
1.2s
-45%
Kadar penyelesaian
94.2%
+8%
Kepuasan
4.8/5
+0.3

Pembantu AIRA

Dalam talian

Sentimen: Positif

Pesanan saya belum tiba lagi. Nombor penjejakan ialah TK-29384.

Terima kasih atas pertanyaan anda. Saya telah menyemak nombor penjejakan TK-29384. Bungkusan anda baru sahaja meninggalkan pusat pengedaran Osaka dan dijadualkan dihantar hari ini antara 18:00 hingga 20:00. Saya akan menghantar pautan untuk anda menjejak penghantaran dalam masa nyata.

Terima kasih! Saya juga ingin memulangkan beberapa produk.

Baik, saya boleh bantu dengan pemulangan. Berdasarkan sejarah pembelian anda, item berikut masih dalam tempoh pemulangan: • Fon Kepala Wayarles WH-200 (¥12,800) • Hab USB 7 Port (¥3,980) Item mana yang anda ingin pulangkan?

Cabaran

Pada 100,000+ pertanyaan bulanan, masa tindak balas purata melebihi 48 jam dan kos kakitangan sokongan pelanggan melonjak.

Penyelesaian

Membina platform chatbot berasaskan GPT dengan pembelajaran FAQ, analisis sentimen, dan eskalasi automatik. Papan pemuka pengurusan menjejak kadar tindak balas dan CSAT secara masa nyata.

Hasil

  • Mengurangkan masa tindak balas daripada 48 jam kepada 30 saat
  • Mengurangkan kos sokongan pelanggan sebanyak 62%
  • Meningkatkan skor CSAT sebanyak 34%
  • Mencapai 150,000 pertanyaan bulanan yang dikendalikan
Key Metrics

Measured Impact

検索 nDCG@10

0.88

+42%

回答根拠提示率

94.2%

+31pt

平均TTFT

780ms

-36%

月次コスト変動

±8%

Features

What it does

検索と生成

ハイブリッド検索

密ベクトル + BM25 + HyDE書き換えで略語や社内用語にも強い検索を実現。

引用付き応答

回答文の各主張に対して出典ドキュメントIDと該当箇所のスパンを返却。

プラットフォーム

LLM Gateway

OpenAI / Anthropic / Bedrock / Ollamaを統一インターフェースで扱い、重み付きフォールバックを実現。

マルチテナント隔離

PostgresのRLSとネームスペース付きHNSWインデックスでテナント境界を強制。

運用性

プロンプトトレーシング

全リクエストをOpenTelemetryスパンで記録し、DatadogとSentryに連携。

コスト可視化

トークン数とモデル別コストをリアルタイムで集計し、テナント別に制限可能。

Architecture

System Layers

Layered architecture showing components, responsibilities, and data flow.

L1

Layer

Edge / API

認証、レート制限、テナント解決を担うエッジ層。Streamed Server Actionsで段階的UI更新をサポート。

Next.js App RoutertRPCEdge Middleware
L2

Layer

Orchestration

LangGraphの有向グラフで検索→再ランキング→ツール実行→合成の多段ワークフローを管理。

LangGraphLLM GatewayTool Router
L3

Layer

Retrieval

密ベクトルと疎ベクトルのハイブリッド検索。日本語はSudachiで形態素分割した独自トークナイザを採用。

pgvector HNSWBM25 (tsvector)Cross-encoder Reranker
L4

Layer

Data & State

会話履歴はPostgres、セマンティックキャッシュはRedis、生ドキュメントはS3で管理。

PostgreSQL 16Redis StreamsS3互換オブジェクトストレージ
L5

Layer

Observability

全リクエストにtrace-idを付与し、プロンプト・コンテキスト・コスト・レイテンシを相関分析。

OpenTelemetryDatadog APMSentryPrompt Logs
Development Process

How we built it

01

Discovery

社内FAQとSlackログから頻出質問カテゴリを抽出し、対話AIで解決可能なユースケースを定量評価。

Deliverables

  • ユースケース優先度マップ
  • ROI見積もり
  • 制約ドキュメント
02

Offline評価基盤

LLMjudge + 人手ラベリングのハイブリッド評価基盤を構築し、CIで回帰検出できるようにした。

Deliverables

  • 評価データセット v1
  • CI統合テスト
  • 品質ダッシュボード
03

Architecture & Spike

LangGraph vs 自作オーケストレータ、pgvector vs Qdrantのスパイク検証で技術選定。

Deliverables

  • ADR集 (6本)
  • ベンチマーク結果
  • コスト試算表
04

Implementation

検索コアとLLM Gatewayを先に実装し、フロントエンドは薄いストリーミングクライアントに限定。

Deliverables

  • tRPCサービス
  • LLM Gatewayライブラリ
  • Next.jsクライアント
05

QA & Red Team

プロンプトインジェクションとPII漏洩のレッドチーム演習を実施し、検出できなかった攻撃を回帰テスト化。

Deliverables

  • 脅威モデル
  • Red Teamレポート
  • ガードレール設定
06

Soft Launch

社内10名の限定公開でフィードバックループを高速化。トレースから失敗パターンを自動収集。

Deliverables

  • ソフトローンチKPI
  • 失敗事例カタログ
07

Iteration

週次で検索品質 / コスト / レイテンシのトレードオフを評価し、LLM Gatewayの重みを調整。

Deliverables

  • 週次レビュー議事録
  • 可観測性改善PR
Roadmap

Delivery Timeline

  • P0Done2026-03-05

    検索評価ベンチマーク構築

    社内FAQ 3,200件を正解付きクエリセットとして整備し、Recall@k / nDCG@k の自動計測パイプラインを構築。

  • P1Done2026-03-18

    ハイブリッド検索パイプライン

    pgvector + BM25 + HyDE を統合した検索コアを実装。クエリ書き換えエージェントを組み込み。

  • P2In Progress2026-04-10

    LLM Gateway と観測性

    プロバイダ非依存のルーティング層と OpenTelemetry によるプロンプトトレーシングを導入。

  • P3In Progress2026-04-22

    マルチテナント隔離

    Row-level Security + ネームスペース付きベクトル分離でテナント境界を強制。

  • P4Planned2026-05

    パートナー向け限定公開

    静岡県内の協業5社を対象にしたクローズドベータ。SLAとコストダッシュボードを提供。

Team

Who built it

3engineers

Roles

  • MLエンジニア
  • バックエンド/プラットフォーム
  • フルスタック
Teknologi

Tools & Platforms

Frontend

Next.js 16TypeScripttRPC

Backend

PythonFastAPILangGraphOpenAI APIAnthropic Claude

Data

PostgreSQL 16pgvectorRedis

Infrastructure

OpenTelemetryDatadogKubernetesTerraform
Build with KGA

Berminat dengan projek serupa?

Kami akan mencadangkan penyelesaian terbaik untuk perniagaan anda.

Bincang Projek Anda