Kitsune — Bộ Công Cụ Triển Khai AI Biên
Kitsune — Edge AI Toolkit
R&D nội bộ cho bộ công cụ triển khai AI biên với quantization và profiling thiết bị.
Demo trực tiếp
Xem trước giao diện ứng dụng thực tế
Device fleet
Jetson Orin Nano
onlinerole: edge inference · id: jetson-01
OCI artifact registry
| artifact | size | layers | digest | pulls |
|---|---|---|---|---|
| llama-3.3-8b-q4_k_m | 4.8 GB | 32 | sha256:7a3f…d2e8 | 128 |
| whisper-small-q8 | 244 MB | 12 | sha256:11b2…94aa | 311 |
| phi-3.5-mini-q4 | 1.9 GB | 16 | sha256:c407…5f1d | 76 |
| yolo-v8n-edgetpu | 6.2 MB | 1 | sha256:e95a…02bc | 1042 |
| nomic-embed-v1.5 | 138 MB | 4 | sha256:ff80…2207 | 203 |
Per-device benchmarks
Cross-device orchestration
GitOps · signed rollouts (cosign)Thách thức
Triển khai model AI tới thiết bị biên không đồng nhất với quantization, chọn kernel và profiling hiệu năng mà không cần tinh chỉnh thủ công nặng nề.
Giải pháp
Bộ công cụ với pipeline quantization, sinh kernel mục tiêu và profiler hiệu năng đa thiết bị — được xác thực trên phần cứng biên phòng lab nội bộ.
Kết quả
- Benchmark nội bộ: giảm kích thước model ~4x với mất chính xác <1pp
- Bộ công cụ bao phủ 4 họ thiết bị biên trong thí điểm nội bộ
- Beta nội bộ với 3 kỹ sư ML — chu trình triển khai rút ngắn
- Chỉ R&D nội bộ — không có khách hàng trả phí
Measured Impact
Jetson Orin Nano
38 tok/s
Llama3.2 3B Q4
Pi5 whisper
RTF 0.42
small
Fire TV 3rd Gen
2.1 tok/s
Q4
更新適用時間
14s
avg
What it does
配信
OCI Artifact
モデルをイメージと同じ仕組みで配布・署名。
プロファイル照合
ABI/SoC に合う Artifact を自動選択。
推論
マルチランタイム
TensorRT-LLM / llama.cpp / whisper.cpp を統一 CLI で操作。
量子化プリセット
Q4/Q5/Q8 をデバイス別に推奨。
運用
OTA ロールアウト
段階的配信と自動ロールバックを標準装備。
Prometheus 連携
tok/s・温度・電力をデバイス別に可視化。
System Layers
Layered architecture showing components, responsibilities, and data flow.
Layer
配信
モデル・ランタイムを OCI Artifact として署名付きで配布する中央レジストリ。
Layer
デバイスエージェント
Rust 製エージェントがデバイスプロファイルを検出し、最適な Artifact をプル。
Layer
ランタイム
推論バックエンドを統一 CLI (kitsune run) から起動し、メトリクスを Prometheus に公開。
Layer
運用
複数デバイス状態とロールアウト進行を一元表示する内部ダッシュボード。
How we built it
プロファイル定義
各デバイスの SoC/OS/ABI を機械可読な YAML に落とす。
Deliverables
- Profile YAML
- Probe 実装
- 検出テスト
Artifact パイプライン
モデルと量子化設定を OCI Artifact にビルドし署名。
Deliverables
- Build スクリプト
- 署名ポリシー
- レジストリ設定
ランタイム統合
TensorRT-LLM / llama.cpp / whisper.cpp を共通 CLI 配下にまとめる。
Deliverables
- kitsune run
- ベンチスクリプト
- サンプルモデル
フリート運用
OTA ロールアウトと監視を統合し、内部ラボデバイスで検証。
Deliverables
- Rollout Controller
- Fleet Dashboard
- 運用手順書
Delivery Timeline
- Phase 0Done2026-04-24
デバイスプロファイル
Jetson / Pi5 / Fire TV の SoC・ABI・OS 特性をプロファイル化。
- Phase 1Done2026-04-25
OCI Artifact 配信
モデル・ランタイムを OCI Artifact に梱包し、エージェントから取得。
- Phase 2Planned2026-05
TensorRT-LLM 統合
Jetson Orin 向けに TensorRT-LLM ビルドを自動化。
- Phase 3Planned2026-06
Fire TV 拡張
Fire OS 向け ABI ビルドと ADB デプロイを統合。
Who built it
Roles
- エッジ SRE
- ML エンジニア
Tools & Platforms
Backend
Infrastructure
Other
Bạn quan tâm đến dự án tương tự?
Chúng tôi sẽ đề xuất giải pháp tốt nhất cho doanh nghiệp của bạn.
Trao đổi về dự án