Skip to content
K
KGAIT Solutions
Voltar ao Portfólio
IA / EdgeIn Development

Kitsune — Toolkit de Edge AI

Kitsune — Edge AI Toolkit

Toolkit de edge AI para Jetson, Pi 5 e Fire TV com pipeline de quantização e deploy. Protótipo de P&D em validação interna.

2026 Beta interna 2026-05
#edge-ai#jetson#raspberry-pi#fire-tv#R&D

Demonstração ao Vivo

Prévia da interface real do aplicativo

DEMO
app.edgeai.jp/dashboard
Devices online
3 / 4
mTLS fleet
Models in registry
5
OCI 1.1
Aggregate throughput
87 tok/s
across fleet
Rollouts / 24h
11
0 rollbacks

Device fleet

gRPC telemetry · 1 Hz
Orchestratorkitsune-ctlJetson Orin NanoLlama-3.3-8B Q4_K_MCPU 42% · RAM 5.8/8 GBRaspberry Pi 5 · 8 GBWhisper-small Q8CPU 28% · RAM 3.1/8 GBFire TV Stick 4K (3rd gen)Phi-3.5-mini Q4CPU 71% · RAM 1.1/2 GBCoral Dev Board MiniYOLO-v8n TPUCPU 18% · RAM 0.9/4 GB

Jetson Orin Nano

online

role: edge inference · id: jetson-01

RAM5.8 / 8 GB
CPU load42%
Loaded modelLlama-3.3-8B Q4_K_M
Throughput18.2 tok/s

OCI artifact registry

registry.kitsune.internal:5000
artifactsizelayersdigestpulls
llama-3.3-8b-q4_k_m4.8 GB32sha256:7a3f…d2e8128
whisper-small-q8244 MB12sha256:11b2…94aa311
phi-3.5-mini-q41.9 GB16sha256:c407…5f1d76
yolo-v8n-edgetpu6.2 MB1sha256:e95a…02bc1042
nomic-embed-v1.5138 MB4sha256:ff80…2207203

Per-device benchmarks

Jetson Orin Nano · Llama-3.3-8B Q418.2 tok/s
Fire TV Stick 4K · Phi-3.5-mini Q46.1 tok/s
Raspberry Pi 5 · Llama-3.2-3B Q44.4 tok/s
Coral Mini (TPU) · YOLO-v8n62 FPS
Jetson Orin Nano · Whisper-small0.14× RT

Cross-device orchestration

GitOps · signed rollouts (cosign)
just nowrollout llama-3.3-8b-q4_k_m → jetson-01 (digest 7a3f…)
2 minpulled phi-3.5-mini-q4 on firetv-03 via OCI registry
4 mincoral-04 temp 72°C · reduced batch size 4 → 2
9 minpromoted llama-3.3-8b-q4_k_m to stable channel
14 mingarbage-collected 3 stale models · freed 6.2 GB

Desafio

Cada device de edge tinha runtime, quantização e profiling distintos. Iterar entre Jetson, Pi 5 e Fire TV era doloroso e cheio de armadilhas específicas.

Solução

Toolkit unificado de export → quantização (INT8/FP16) → empacotamento → deploy + métricas, com adaptadores específicos para Jetson/Pi/Fire TV. Profiling de FPS e energia. Operado como beta interna.

Resultados

  • Pipeline reproduzível em 3 plataformas (dados internos)
  • Tempo de iteração: 22min model→device (dados internos)
  • FPS médio em Pi 5: 18 com modelo INT8 (dados internos)
  • Cobertura de 7 modelos baseline em P&D (dados internos)
Key Metrics

Measured Impact

Jetson Orin Nano

38 tok/s

Llama3.2 3B Q4

Pi5 whisper

RTF 0.42

small

Fire TV 3rd Gen

2.1 tok/s

Q4

更新適用時間

14s

avg

Features

What it does

配信

OCI Artifact

モデルをイメージと同じ仕組みで配布・署名。

プロファイル照合

ABI/SoC に合う Artifact を自動選択。

推論

マルチランタイム

TensorRT-LLM / llama.cpp / whisper.cpp を統一 CLI で操作。

量子化プリセット

Q4/Q5/Q8 をデバイス別に推奨。

運用

OTA ロールアウト

段階的配信と自動ロールバックを標準装備。

Prometheus 連携

tok/s・温度・電力をデバイス別に可視化。

Architecture

System Layers

Layered architecture showing components, responsibilities, and data flow.

L1

Layer

配信

モデル・ランタイムを OCI Artifact として署名付きで配布する中央レジストリ。

OCI RegistryArtifact SignerManifest Resolver
L2

Layer

デバイスエージェント

Rust 製エージェントがデバイスプロファイルを検出し、最適な Artifact をプル。

Kitsune AgentProfile Probesystemd Unit
L3

Layer

ランタイム

推論バックエンドを統一 CLI (kitsune run) から起動し、メトリクスを Prometheus に公開。

TensorRT-LLMllama.cppwhisper.cppONNX Runtime
L4

Layer

運用

複数デバイス状態とロールアウト進行を一元表示する内部ダッシュボード。

Fleet DashboardOTA RolloutPrometheus/Grafana
Development Process

How we built it

Step 1

プロファイル定義

各デバイスの SoC/OS/ABI を機械可読な YAML に落とす。

Deliverables

  • Profile YAML
  • Probe 実装
  • 検出テスト
Step 2

Artifact パイプライン

モデルと量子化設定を OCI Artifact にビルドし署名。

Deliverables

  • Build スクリプト
  • 署名ポリシー
  • レジストリ設定
Step 3

ランタイム統合

TensorRT-LLM / llama.cpp / whisper.cpp を共通 CLI 配下にまとめる。

Deliverables

  • kitsune run
  • ベンチスクリプト
  • サンプルモデル
Step 4

フリート運用

OTA ロールアウトと監視を統合し、内部ラボデバイスで検証。

Deliverables

  • Rollout Controller
  • Fleet Dashboard
  • 運用手順書
Roadmap

Delivery Timeline

  • Phase 0Done2026-04-24

    デバイスプロファイル

    Jetson / Pi5 / Fire TV の SoC・ABI・OS 特性をプロファイル化。

  • Phase 1Done2026-04-25

    OCI Artifact 配信

    モデル・ランタイムを OCI Artifact に梱包し、エージェントから取得。

  • Phase 2Planned2026-05

    TensorRT-LLM 統合

    Jetson Orin 向けに TensorRT-LLM ビルドを自動化。

  • Phase 3Planned2026-06

    Fire TV 拡張

    Fire OS 向け ABI ビルドと ADB デプロイを統合。

Team

Who built it

2engineers

Roles

  • エッジ SRE
  • ML エンジニア
Stack Tecnológica

Tools & Platforms

Backend

RustTensorRT-LLM

Infrastructure

Prometheus

Other

C++CUDAllama.cppwhisper.cppONNX RuntimeOCI Distribution SpeccontainerdsystemdBuildahYoctoADB
Projeto Anterior
Build with KGA

Pensando em um projeto semelhante?

Propomos a melhor solução para as necessidades do seu negócio.

Consultar Sobre Seu Projeto