Pular para conteúdo
Voltar ao Portfólio
IA / Machine LearningBeta

AIRA — Plataforma de Chatbot com IA

AIRA — Multi-tenant Conversational AI Platform

Um SaaS de pesquisa que automatiza o atendimento ao cliente. Usa processamento de linguagem natural para construir um sistema de respostas 24/7.

2026 4 meses 2026-03
#RAG#Vector Search#LLM Gateway#Streaming#Observability#Multi-tenant

Demonstração ao Vivo

Prévia da interface real do aplicativo

DEMO
app.aira.jp/dashboard
Conversas hoje
2,847
+12%
Tempo médio de resposta
1,2s
-45%
Taxa de resolução
94.2%
+8%
Satisfação
4.8/5
+0.3

Assistente AIRA

Online

Sentimento: Positivo

Meu pedido ainda não chegou. O número de rastreio é TK-29384.

Obrigado pelo contato. Verifiquei o rastreio TK-29384. Sua encomenda acabou de sair do centro de distribuição de Osaka e está prevista para entrega hoje, entre 18:00 e 20:00. Vou te enviar um link para acompanhar a entrega em tempo real.

Obrigado! E também queria devolver alguns produtos.

Claro, posso ajudar com a devolução. Consultando seu histórico de compras, os seguintes itens ainda estão dentro do prazo de devolução: • Fone de Ouvido Sem Fio WH-200 (¥12.800) • Hub USB 7 Portas (¥3.980) Qual item você gostaria de devolver?

Desafio

Com mais de 100.000 consultas mensais, o tempo médio de resposta ultrapassava 48 horas e os custos com equipe de suporte explodiram.

Solução

Construímos uma plataforma de chatbot baseada em GPT com aprendizado de FAQ, análise de sentimento e escalonamento automático. Um painel de gestão acompanha a taxa de resposta e o CSAT em tempo real.

Resultados

  • Tempo de resposta reduzido de 48 horas para 30 segundos
  • Custo de suporte ao cliente reduzido em 62%
  • Aumento de 34% no CSAT
  • Atingimos 150.000 consultas mensais atendidas
Key Metrics

Measured Impact

検索 nDCG@10

0.88

+42%

回答根拠提示率

94.2%

+31pt

平均TTFT

780ms

-36%

月次コスト変動

±8%

Features

What it does

検索と生成

ハイブリッド検索

密ベクトル + BM25 + HyDE書き換えで略語や社内用語にも強い検索を実現。

引用付き応答

回答文の各主張に対して出典ドキュメントIDと該当箇所のスパンを返却。

プラットフォーム

LLM Gateway

OpenAI / Anthropic / Bedrock / Ollamaを統一インターフェースで扱い、重み付きフォールバックを実現。

マルチテナント隔離

PostgresのRLSとネームスペース付きHNSWインデックスでテナント境界を強制。

運用性

プロンプトトレーシング

全リクエストをOpenTelemetryスパンで記録し、DatadogとSentryに連携。

コスト可視化

トークン数とモデル別コストをリアルタイムで集計し、テナント別に制限可能。

Architecture

System Layers

Layered architecture showing components, responsibilities, and data flow.

L1

Layer

Edge / API

認証、レート制限、テナント解決を担うエッジ層。Streamed Server Actionsで段階的UI更新をサポート。

Next.js App RoutertRPCEdge Middleware
L2

Layer

Orchestration

LangGraphの有向グラフで検索→再ランキング→ツール実行→合成の多段ワークフローを管理。

LangGraphLLM GatewayTool Router
L3

Layer

Retrieval

密ベクトルと疎ベクトルのハイブリッド検索。日本語はSudachiで形態素分割した独自トークナイザを採用。

pgvector HNSWBM25 (tsvector)Cross-encoder Reranker
L4

Layer

Data & State

会話履歴はPostgres、セマンティックキャッシュはRedis、生ドキュメントはS3で管理。

PostgreSQL 16Redis StreamsS3互換オブジェクトストレージ
L5

Layer

Observability

全リクエストにtrace-idを付与し、プロンプト・コンテキスト・コスト・レイテンシを相関分析。

OpenTelemetryDatadog APMSentryPrompt Logs
Development Process

How we built it

01

Discovery

社内FAQとSlackログから頻出質問カテゴリを抽出し、対話AIで解決可能なユースケースを定量評価。

Deliverables

  • ユースケース優先度マップ
  • ROI見積もり
  • 制約ドキュメント
02

Offline評価基盤

LLMjudge + 人手ラベリングのハイブリッド評価基盤を構築し、CIで回帰検出できるようにした。

Deliverables

  • 評価データセット v1
  • CI統合テスト
  • 品質ダッシュボード
03

Architecture & Spike

LangGraph vs 自作オーケストレータ、pgvector vs Qdrantのスパイク検証で技術選定。

Deliverables

  • ADR集 (6本)
  • ベンチマーク結果
  • コスト試算表
04

Implementation

検索コアとLLM Gatewayを先に実装し、フロントエンドは薄いストリーミングクライアントに限定。

Deliverables

  • tRPCサービス
  • LLM Gatewayライブラリ
  • Next.jsクライアント
05

QA & Red Team

プロンプトインジェクションとPII漏洩のレッドチーム演習を実施し、検出できなかった攻撃を回帰テスト化。

Deliverables

  • 脅威モデル
  • Red Teamレポート
  • ガードレール設定
06

Soft Launch

社内10名の限定公開でフィードバックループを高速化。トレースから失敗パターンを自動収集。

Deliverables

  • ソフトローンチKPI
  • 失敗事例カタログ
07

Iteration

週次で検索品質 / コスト / レイテンシのトレードオフを評価し、LLM Gatewayの重みを調整。

Deliverables

  • 週次レビュー議事録
  • 可観測性改善PR
Roadmap

Delivery Timeline

  • P0Done2026-03-05

    検索評価ベンチマーク構築

    社内FAQ 3,200件を正解付きクエリセットとして整備し、Recall@k / nDCG@k の自動計測パイプラインを構築。

  • P1Done2026-03-18

    ハイブリッド検索パイプライン

    pgvector + BM25 + HyDE を統合した検索コアを実装。クエリ書き換えエージェントを組み込み。

  • P2In Progress2026-04-10

    LLM Gateway と観測性

    プロバイダ非依存のルーティング層と OpenTelemetry によるプロンプトトレーシングを導入。

  • P3In Progress2026-04-22

    マルチテナント隔離

    Row-level Security + ネームスペース付きベクトル分離でテナント境界を強制。

  • P4Planned2026-05

    パートナー向け限定公開

    静岡県内の協業5社を対象にしたクローズドベータ。SLAとコストダッシュボードを提供。

Team

Who built it

3engineers

Roles

  • MLエンジニア
  • バックエンド/プラットフォーム
  • フルスタック
Stack Tecnológica

Tools & Platforms

Frontend

Next.js 16TypeScripttRPC

Backend

PythonFastAPILangGraphOpenAI APIAnthropic Claude

Data

PostgreSQL 16pgvectorRedis

Infrastructure

OpenTelemetryDatadogKubernetesTerraform
Build with KGA

Pensando em um projeto semelhante?

Propomos a melhor solução para as necessidades do seu negócio.

Consultar Sobre Seu Projeto