Skip to content
K
KGAIT Solutions
Back to Portfolio
Infrastructure / DevOpsIn Development

Kitsune — Edge AI Toolkit

Kitsune — Edge AI Toolkit

An edge-AI toolkit that unifies the build pipeline and OCI distribution flow for NVIDIA Jetson (Orin Nano / AGX), Raspberry Pi 5, and Amazon Fire TV Stick. TensorRT-LLM, llama.cpp, and whisper.cpp ship from a shared manifest. Internal R&D prototype.

2026 R&D (internal prototype) 2026-05
#edge-ai#jetson#raspberry-pi#fire-tv#R&D

Live Demo

Preview the actual application interface

DEMO
app.edgeai.jp/dashboard
Devices online
3 / 4
mTLS fleet
Models in registry
5
OCI 1.1
Aggregate throughput
87 tok/s
across fleet
Rollouts / 24h
11
0 rollbacks

Device fleet

gRPC telemetry · 1 Hz
Orchestratorkitsune-ctlJetson Orin NanoLlama-3.3-8B Q4_K_MCPU 42% · RAM 5.8/8 GBRaspberry Pi 5 · 8 GBWhisper-small Q8CPU 28% · RAM 3.1/8 GBFire TV Stick 4K (3rd gen)Phi-3.5-mini Q4CPU 71% · RAM 1.1/2 GBCoral Dev Board MiniYOLO-v8n TPUCPU 18% · RAM 0.9/4 GB

Jetson Orin Nano

online

role: edge inference · id: jetson-01

RAM5.8 / 8 GB
CPU load42%
Loaded modelLlama-3.3-8B Q4_K_M
Throughput18.2 tok/s

OCI artifact registry

registry.kitsune.internal:5000
artifactsizelayersdigestpulls
llama-3.3-8b-q4_k_m4.8 GB32sha256:7a3f…d2e8128
whisper-small-q8244 MB12sha256:11b2…94aa311
phi-3.5-mini-q41.9 GB16sha256:c407…5f1d76
yolo-v8n-edgetpu6.2 MB1sha256:e95a…02bc1042
nomic-embed-v1.5138 MB4sha256:ff80…2207203

Per-device benchmarks

Jetson Orin Nano · Llama-3.3-8B Q418.2 tok/s
Fire TV Stick 4K · Phi-3.5-mini Q46.1 tok/s
Raspberry Pi 5 · Llama-3.2-3B Q44.4 tok/s
Coral Mini (TPU) · YOLO-v8n62 FPS
Jetson Orin Nano · Whisper-small0.14× RT

Cross-device orchestration

GitOps · signed rollouts (cosign)
just nowrollout llama-3.3-8b-q4_k_m → jetson-01 (digest 7a3f…)
2 minpulled phi-3.5-mini-q4 on firetv-03 via OCI registry
4 mincoral-04 temp 72°C · reduced batch size 4 → 2
9 minpromoted llama-3.3-8b-q4_k_m to stable channel
14 mingarbage-collected 3 stale models · freed 6.2 GB

Challenge

Edge devices vary across SoC, GPU, NEON/AVX support, and OS (L4T / Raspberry Pi OS / Fire OS), and tracking model+runtime version compatibility by hand falls apart fast. Fire TV in particular is an Android TV derivative with its own ABI, raising the bar for unified distribution.

Solution

Models, quantization configs, and runtime binaries publish to a container registry as OCI Artifacts. A Rust-based device agent (Kitsune Agent) auto-selects and pulls builds matching its ABI / SoC profile — TensorRT-LLM on Jetson, llama.cpp (NEON) on Pi5, llama.cpp + whisper.cpp on Fire TV.

Results

  • Llama 3.2 3B Q4 hits 38 tok/s on Jetson Orin Nano (internal benchmark)
  • whisper.cpp small runs at RTF 0.42 on Pi5
  • Fire TV Stick 3rd Gen (ARMv8) serves llama.cpp Q4 at 2.1 tok/s
  • OCI Artifact distribution cuts mean update-apply time to 14 s (internal lab)
Key Metrics

Measured Impact

Jetson Orin Nano

38 tok/s

Llama3.2 3B Q4

Pi5 whisper

RTF 0.42

small

Fire TV 3rd Gen

2.1 tok/s

Q4

更新適用時間

14s

avg

Features

What it does

配信

OCI Artifact

モデルをイメージと同じ仕組みで配布・署名。

プロファイル照合

ABI/SoC に合う Artifact を自動選択。

推論

マルチランタイム

TensorRT-LLM / llama.cpp / whisper.cpp を統一 CLI で操作。

量子化プリセット

Q4/Q5/Q8 をデバイス別に推奨。

運用

OTA ロールアウト

段階的配信と自動ロールバックを標準装備。

Prometheus 連携

tok/s・温度・電力をデバイス別に可視化。

Architecture

System Layers

Layered architecture showing components, responsibilities, and data flow.

L1

Layer

配信

モデル・ランタイムを OCI Artifact として署名付きで配布する中央レジストリ。

OCI RegistryArtifact SignerManifest Resolver
L2

Layer

デバイスエージェント

Rust 製エージェントがデバイスプロファイルを検出し、最適な Artifact をプル。

Kitsune AgentProfile Probesystemd Unit
L3

Layer

ランタイム

推論バックエンドを統一 CLI (kitsune run) から起動し、メトリクスを Prometheus に公開。

TensorRT-LLMllama.cppwhisper.cppONNX Runtime
L4

Layer

運用

複数デバイス状態とロールアウト進行を一元表示する内部ダッシュボード。

Fleet DashboardOTA RolloutPrometheus/Grafana
Development Process

How we built it

Step 1

プロファイル定義

各デバイスの SoC/OS/ABI を機械可読な YAML に落とす。

Deliverables

  • Profile YAML
  • Probe 実装
  • 検出テスト
Step 2

Artifact パイプライン

モデルと量子化設定を OCI Artifact にビルドし署名。

Deliverables

  • Build スクリプト
  • 署名ポリシー
  • レジストリ設定
Step 3

ランタイム統合

TensorRT-LLM / llama.cpp / whisper.cpp を共通 CLI 配下にまとめる。

Deliverables

  • kitsune run
  • ベンチスクリプト
  • サンプルモデル
Step 4

フリート運用

OTA ロールアウトと監視を統合し、内部ラボデバイスで検証。

Deliverables

  • Rollout Controller
  • Fleet Dashboard
  • 運用手順書
Roadmap

Delivery Timeline

  • Phase 0Done2026-04-24

    デバイスプロファイル

    Jetson / Pi5 / Fire TV の SoC・ABI・OS 特性をプロファイル化。

  • Phase 1Done2026-04-25

    OCI Artifact 配信

    モデル・ランタイムを OCI Artifact に梱包し、エージェントから取得。

  • Phase 2Planned2026-05

    TensorRT-LLM 統合

    Jetson Orin 向けに TensorRT-LLM ビルドを自動化。

  • Phase 3Planned2026-06

    Fire TV 拡張

    Fire OS 向け ABI ビルドと ADB デプロイを統合。

Team

Who built it

2engineers

Roles

  • エッジ SRE
  • ML エンジニア
Tech Stack

Tools & Platforms

Backend

RustTensorRT-LLM

Infrastructure

Prometheus

Other

C++CUDAllama.cppwhisper.cppONNX RuntimeOCI Distribution SpeccontainerdsystemdBuildahYoctoADB
Previous Project
Build with KGA

Considering a similar project?

We will propose the best solution for your business needs.

Discuss Your Project