Kitsune — Edge AI Deployment Toolkit
Kitsune — Edge AI Toolkit
Internal na R&D para sa edge AI deployment toolkit na may quantization at device profiling.
Live Demo
Preview ng aktwal na screen ng application
Device fleet
Jetson Orin Nano
onlinerole: edge inference · id: jetson-01
OCI artifact registry
| artifact | size | layers | digest | pulls |
|---|---|---|---|---|
| llama-3.3-8b-q4_k_m | 4.8 GB | 32 | sha256:7a3f…d2e8 | 128 |
| whisper-small-q8 | 244 MB | 12 | sha256:11b2…94aa | 311 |
| phi-3.5-mini-q4 | 1.9 GB | 16 | sha256:c407…5f1d | 76 |
| yolo-v8n-edgetpu | 6.2 MB | 1 | sha256:e95a…02bc | 1042 |
| nomic-embed-v1.5 | 138 MB | 4 | sha256:ff80…2207 | 203 |
Per-device benchmarks
Cross-device orchestration
GitOps · signed rollouts (cosign)Hamon
I-deploy ang AI models sa heterogeneous edge devices na may quantization, kernel selection, at performance profiling nang walang heavy manual tuning.
Solusyon
Toolkit na may quantization pipeline, target kernel generator, at cross-device performance profiler — na-validate sa internal lab edge hardware.
Mga Resulta
- Internal benchmark: ~4x model size reduction na may <1pp accuracy loss
- Toolkit sumasaklaw sa 4 edge device families sa internal pilot
- Internal beta sa 3 ML engineer testers — pinaikli ang deployment cycles
- Internal R&D lang — walang paying client
Measured Impact
Jetson Orin Nano
38 tok/s
Llama3.2 3B Q4
Pi5 whisper
RTF 0.42
small
Fire TV 3rd Gen
2.1 tok/s
Q4
更新適用時間
14s
avg
What it does
配信
OCI Artifact
モデルをイメージと同じ仕組みで配布・署名。
プロファイル照合
ABI/SoC に合う Artifact を自動選択。
推論
マルチランタイム
TensorRT-LLM / llama.cpp / whisper.cpp を統一 CLI で操作。
量子化プリセット
Q4/Q5/Q8 をデバイス別に推奨。
運用
OTA ロールアウト
段階的配信と自動ロールバックを標準装備。
Prometheus 連携
tok/s・温度・電力をデバイス別に可視化。
System Layers
Layered architecture showing components, responsibilities, and data flow.
Layer
配信
モデル・ランタイムを OCI Artifact として署名付きで配布する中央レジストリ。
Layer
デバイスエージェント
Rust 製エージェントがデバイスプロファイルを検出し、最適な Artifact をプル。
Layer
ランタイム
推論バックエンドを統一 CLI (kitsune run) から起動し、メトリクスを Prometheus に公開。
Layer
運用
複数デバイス状態とロールアウト進行を一元表示する内部ダッシュボード。
How we built it
プロファイル定義
各デバイスの SoC/OS/ABI を機械可読な YAML に落とす。
Deliverables
- Profile YAML
- Probe 実装
- 検出テスト
Artifact パイプライン
モデルと量子化設定を OCI Artifact にビルドし署名。
Deliverables
- Build スクリプト
- 署名ポリシー
- レジストリ設定
ランタイム統合
TensorRT-LLM / llama.cpp / whisper.cpp を共通 CLI 配下にまとめる。
Deliverables
- kitsune run
- ベンチスクリプト
- サンプルモデル
フリート運用
OTA ロールアウトと監視を統合し、内部ラボデバイスで検証。
Deliverables
- Rollout Controller
- Fleet Dashboard
- 運用手順書
Delivery Timeline
- Phase 0Done2026-04-24
デバイスプロファイル
Jetson / Pi5 / Fire TV の SoC・ABI・OS 特性をプロファイル化。
- Phase 1Done2026-04-25
OCI Artifact 配信
モデル・ランタイムを OCI Artifact に梱包し、エージェントから取得。
- Phase 2Planned2026-05
TensorRT-LLM 統合
Jetson Orin 向けに TensorRT-LLM ビルドを自動化。
- Phase 3Planned2026-06
Fire TV 拡張
Fire OS 向け ABI ビルドと ADB デプロイを統合。
Who built it
Roles
- エッジ SRE
- ML エンジニア
Tools & Platforms
Backend
Infrastructure
Other
Interesado ka ba sa katulad na proyekto?
Mag-aalok kami ng pinakamahusay na solusyon para sa iyong negosyo.
Pag-usapan ang Iyong Proyekto