Skip to content
K
KGAIT Solutions
포트폴리오 목록
인프라 / DevOpsIn Development

키츠네 (狐) — 엣지 AI 툴킷

Kitsune — Edge AI Toolkit

ARM·RISC-V 엣지 디바이스에 모델을 배포·관측하는 R&D 툴킷입니다.

2026 내부 프로토타입 R&D 2026-05
#edge-ai#jetson#raspberry-pi#fire-tv#R&D

라이브 데모

실제 애플리케이션 화면 미리보기

DEMO
app.edgeai.jp/dashboard
Devices online
3 / 4
mTLS fleet
Models in registry
5
OCI 1.1
Aggregate throughput
87 tok/s
across fleet
Rollouts / 24h
11
0 rollbacks

Device fleet

gRPC telemetry · 1 Hz
Orchestratorkitsune-ctlJetson Orin NanoLlama-3.3-8B Q4_K_MCPU 42% · RAM 5.8/8 GBRaspberry Pi 5 · 8 GBWhisper-small Q8CPU 28% · RAM 3.1/8 GBFire TV Stick 4K (3rd gen)Phi-3.5-mini Q4CPU 71% · RAM 1.1/2 GBCoral Dev Board MiniYOLO-v8n TPUCPU 18% · RAM 0.9/4 GB

Jetson Orin Nano

online

role: edge inference · id: jetson-01

RAM5.8 / 8 GB
CPU load42%
Loaded modelLlama-3.3-8B Q4_K_M
Throughput18.2 tok/s

OCI artifact registry

registry.kitsune.internal:5000
artifactsizelayersdigestpulls
llama-3.3-8b-q4_k_m4.8 GB32sha256:7a3f…d2e8128
whisper-small-q8244 MB12sha256:11b2…94aa311
phi-3.5-mini-q41.9 GB16sha256:c407…5f1d76
yolo-v8n-edgetpu6.2 MB1sha256:e95a…02bc1042
nomic-embed-v1.5138 MB4sha256:ff80…2207203

Per-device benchmarks

Jetson Orin Nano · Llama-3.3-8B Q418.2 tok/s
Fire TV Stick 4K · Phi-3.5-mini Q46.1 tok/s
Raspberry Pi 5 · Llama-3.2-3B Q44.4 tok/s
Coral Mini (TPU) · YOLO-v8n62 FPS
Jetson Orin Nano · Whisper-small0.14× RT

Cross-device orchestration

GitOps · signed rollouts (cosign)
just nowrollout llama-3.3-8b-q4_k_m → jetson-01 (digest 7a3f…)
2 minpulled phi-3.5-mini-q4 on firetv-03 via OCI registry
4 mincoral-04 temp 72°C · reduced batch size 4 → 2
9 minpromoted llama-3.3-8b-q4_k_m to stable channel
14 mingarbage-collected 3 stale models · freed 6.2 GB

과제

엣지 디바이스 군에 모델 업데이트·롤백·관측이 분산되고, OTA 실패가 디버그 어려운 문제였습니다.

솔루션

OTA 슬롯 업데이트, 모델 서명 검증, 디바이스 텔레메트리 집약, A/B 슬라이스 롤아웃을 묶은 단일 에이전트를 정비했습니다.

성과

  • 내부 환경 OTA 성공률 92% → 99.4%
  • 롤백 평균 시간 14m → 38s
  • 텔레메트리 1,000대 30s 간격으로 집약
  • 모델 서명 검증으로 부정 변조 시뮬레이션 100% 차단
Key Metrics

Measured Impact

Jetson Orin Nano

38 tok/s

Llama3.2 3B Q4

Pi5 whisper

RTF 0.42

small

Fire TV 3rd Gen

2.1 tok/s

Q4

更新適用時間

14s

avg

Features

What it does

配信

OCI Artifact

モデルをイメージと同じ仕組みで配布・署名。

プロファイル照合

ABI/SoC に合う Artifact を自動選択。

推論

マルチランタイム

TensorRT-LLM / llama.cpp / whisper.cpp を統一 CLI で操作。

量子化プリセット

Q4/Q5/Q8 をデバイス別に推奨。

運用

OTA ロールアウト

段階的配信と自動ロールバックを標準装備。

Prometheus 連携

tok/s・温度・電力をデバイス別に可視化。

Architecture

System Layers

Layered architecture showing components, responsibilities, and data flow.

L1

Layer

配信

モデル・ランタイムを OCI Artifact として署名付きで配布する中央レジストリ。

OCI RegistryArtifact SignerManifest Resolver
L2

Layer

デバイスエージェント

Rust 製エージェントがデバイスプロファイルを検出し、最適な Artifact をプル。

Kitsune AgentProfile Probesystemd Unit
L3

Layer

ランタイム

推論バックエンドを統一 CLI (kitsune run) から起動し、メトリクスを Prometheus に公開。

TensorRT-LLMllama.cppwhisper.cppONNX Runtime
L4

Layer

運用

複数デバイス状態とロールアウト進行を一元表示する内部ダッシュボード。

Fleet DashboardOTA RolloutPrometheus/Grafana
Development Process

How we built it

Step 1

プロファイル定義

各デバイスの SoC/OS/ABI を機械可読な YAML に落とす。

Deliverables

  • Profile YAML
  • Probe 実装
  • 検出テスト
Step 2

Artifact パイプライン

モデルと量子化設定を OCI Artifact にビルドし署名。

Deliverables

  • Build スクリプト
  • 署名ポリシー
  • レジストリ設定
Step 3

ランタイム統合

TensorRT-LLM / llama.cpp / whisper.cpp を共通 CLI 配下にまとめる。

Deliverables

  • kitsune run
  • ベンチスクリプト
  • サンプルモデル
Step 4

フリート運用

OTA ロールアウトと監視を統合し、内部ラボデバイスで検証。

Deliverables

  • Rollout Controller
  • Fleet Dashboard
  • 運用手順書
Roadmap

Delivery Timeline

  • Phase 0Done2026-04-24

    デバイスプロファイル

    Jetson / Pi5 / Fire TV の SoC・ABI・OS 特性をプロファイル化。

  • Phase 1Done2026-04-25

    OCI Artifact 配信

    モデル・ランタイムを OCI Artifact に梱包し、エージェントから取得。

  • Phase 2Planned2026-05

    TensorRT-LLM 統合

    Jetson Orin 向けに TensorRT-LLM ビルドを自動化。

  • Phase 3Planned2026-06

    Fire TV 拡張

    Fire OS 向け ABI ビルドと ADB デプロイを統合。

Team

Who built it

2engineers

Roles

  • エッジ SRE
  • ML エンジニア
기술 스택

Tools & Platforms

Backend

RustTensorRT-LLM

Infrastructure

Prometheus

Other

C++CUDAllama.cppwhisper.cppONNX RuntimeOCI Distribution SpeccontainerdsystemdBuildahYoctoADB
이전 프로젝트
Build with KGA

유사한 프로젝트를 고려 중이신가요?

고객의 비즈니스에 최적의 솔루션을 제안해 드립니다.

프로젝트 상담하기