Skip to content
K
KGAIT Solutions
返回项目列表
基础设施 / DevOpsIn Development

狐 — 边缘 AI 工具包

Kitsune — Edge AI Toolkit

在 ARM 与 RISC-V 边缘设备上部署与观测模型的研发工具包。

2026 内部原型研发 2026-05
#edge-ai#jetson#raspberry-pi#fire-tv#R&D

在线演示

实际应用界面预览

DEMO
app.edgeai.jp/dashboard
Devices online
3 / 4
mTLS fleet
Models in registry
5
OCI 1.1
Aggregate throughput
87 tok/s
across fleet
Rollouts / 24h
11
0 rollbacks

Device fleet

gRPC telemetry · 1 Hz
Orchestratorkitsune-ctlJetson Orin NanoLlama-3.3-8B Q4_K_MCPU 42% · RAM 5.8/8 GBRaspberry Pi 5 · 8 GBWhisper-small Q8CPU 28% · RAM 3.1/8 GBFire TV Stick 4K (3rd gen)Phi-3.5-mini Q4CPU 71% · RAM 1.1/2 GBCoral Dev Board MiniYOLO-v8n TPUCPU 18% · RAM 0.9/4 GB

Jetson Orin Nano

online

role: edge inference · id: jetson-01

RAM5.8 / 8 GB
CPU load42%
Loaded modelLlama-3.3-8B Q4_K_M
Throughput18.2 tok/s

OCI artifact registry

registry.kitsune.internal:5000
artifactsizelayersdigestpulls
llama-3.3-8b-q4_k_m4.8 GB32sha256:7a3f…d2e8128
whisper-small-q8244 MB12sha256:11b2…94aa311
phi-3.5-mini-q41.9 GB16sha256:c407…5f1d76
yolo-v8n-edgetpu6.2 MB1sha256:e95a…02bc1042
nomic-embed-v1.5138 MB4sha256:ff80…2207203

Per-device benchmarks

Jetson Orin Nano · Llama-3.3-8B Q418.2 tok/s
Fire TV Stick 4K · Phi-3.5-mini Q46.1 tok/s
Raspberry Pi 5 · Llama-3.2-3B Q44.4 tok/s
Coral Mini (TPU) · YOLO-v8n62 FPS
Jetson Orin Nano · Whisper-small0.14× RT

Cross-device orchestration

GitOps · signed rollouts (cosign)
just nowrollout llama-3.3-8b-q4_k_m → jetson-01 (digest 7a3f…)
2 minpulled phi-3.5-mini-q4 on firetv-03 via OCI registry
4 mincoral-04 temp 72°C · reduced batch size 4 → 2
9 minpromoted llama-3.3-8b-q4_k_m to stable channel
14 mingarbage-collected 3 stale models · freed 6.2 GB

挑战

边缘设备群的模型更新、回滚与观测分散,OTA 失败难以调试。

解决方案

整合 OTA 槽位更新、模型签名验证、设备遥测聚合与 A/B 切片灰度,提供单一代理。

成果

  • 内部环境 OTA 成功率由 92% 提升至 99.4%
  • 回滚平均时间由 14 分钟缩短至 38 秒
  • 1,000 台设备遥测以 30 秒间隔聚合
  • 通过模型签名验证 100% 拦截篡改仿真
Key Metrics

Measured Impact

Jetson Orin Nano

38 tok/s

Llama3.2 3B Q4

Pi5 whisper

RTF 0.42

small

Fire TV 3rd Gen

2.1 tok/s

Q4

更新適用時間

14s

avg

Features

What it does

配信

OCI Artifact

モデルをイメージと同じ仕組みで配布・署名。

プロファイル照合

ABI/SoC に合う Artifact を自動選択。

推論

マルチランタイム

TensorRT-LLM / llama.cpp / whisper.cpp を統一 CLI で操作。

量子化プリセット

Q4/Q5/Q8 をデバイス別に推奨。

運用

OTA ロールアウト

段階的配信と自動ロールバックを標準装備。

Prometheus 連携

tok/s・温度・電力をデバイス別に可視化。

Architecture

System Layers

Layered architecture showing components, responsibilities, and data flow.

L1

Layer

配信

モデル・ランタイムを OCI Artifact として署名付きで配布する中央レジストリ。

OCI RegistryArtifact SignerManifest Resolver
L2

Layer

デバイスエージェント

Rust 製エージェントがデバイスプロファイルを検出し、最適な Artifact をプル。

Kitsune AgentProfile Probesystemd Unit
L3

Layer

ランタイム

推論バックエンドを統一 CLI (kitsune run) から起動し、メトリクスを Prometheus に公開。

TensorRT-LLMllama.cppwhisper.cppONNX Runtime
L4

Layer

運用

複数デバイス状態とロールアウト進行を一元表示する内部ダッシュボード。

Fleet DashboardOTA RolloutPrometheus/Grafana
Development Process

How we built it

Step 1

プロファイル定義

各デバイスの SoC/OS/ABI を機械可読な YAML に落とす。

Deliverables

  • Profile YAML
  • Probe 実装
  • 検出テスト
Step 2

Artifact パイプライン

モデルと量子化設定を OCI Artifact にビルドし署名。

Deliverables

  • Build スクリプト
  • 署名ポリシー
  • レジストリ設定
Step 3

ランタイム統合

TensorRT-LLM / llama.cpp / whisper.cpp を共通 CLI 配下にまとめる。

Deliverables

  • kitsune run
  • ベンチスクリプト
  • サンプルモデル
Step 4

フリート運用

OTA ロールアウトと監視を統合し、内部ラボデバイスで検証。

Deliverables

  • Rollout Controller
  • Fleet Dashboard
  • 運用手順書
Roadmap

Delivery Timeline

  • Phase 0Done2026-04-24

    デバイスプロファイル

    Jetson / Pi5 / Fire TV の SoC・ABI・OS 特性をプロファイル化。

  • Phase 1Done2026-04-25

    OCI Artifact 配信

    モデル・ランタイムを OCI Artifact に梱包し、エージェントから取得。

  • Phase 2Planned2026-05

    TensorRT-LLM 統合

    Jetson Orin 向けに TensorRT-LLM ビルドを自動化。

  • Phase 3Planned2026-06

    Fire TV 拡張

    Fire OS 向け ABI ビルドと ADB デプロイを統合。

Team

Who built it

2engineers

Roles

  • エッジ SRE
  • ML エンジニア
技术栈

Tools & Platforms

Backend

RustTensorRT-LLM

Infrastructure

Prometheus

Other

C++CUDAllama.cppwhisper.cppONNX RuntimeOCI Distribution SpeccontainerdsystemdBuildahYoctoADB
上一个项目
Build with KGA

正在考虑类似的项目？

我们将为您的业务需求提供最优解决方案。

咨询您的项目