Kaminari — Runtime Inference Neuromorphic
Kaminari — Neuromorphic Inference Runtime
R&D nội bộ cho runtime inference neuromorphic với mạng nơ-ron xung (SNN).
Demo trực tiếp
Xem trước giao diện ứng dụng thực tế
Neuromorphic backend
DVS camera events
240 x 180 · 1M events/sSpike trains
80 ms windowEnergy per inference
same SNN workload · batch 1Event-driven computation only consumes power when input spikes arrive — static scenes cost near zero energy.
Benchmarks
11 classes
10 classes
20 classes
Thách thức
Chạy workload inference với mạng nơ-ron xung (SNN) trên simulator neuromorphic với hiệu quả năng lượng mô phỏng tốt hơn trong benchmark.
Giải pháp
Runtime SNN với bộ chuyển đổi từ mạng tiêu chuẩn, lập lịch sự kiện và harness đánh giá năng lượng mô phỏng — chạy trong phòng lab nội bộ.
Kết quả
- Benchmark nội bộ: tiết kiệm năng lượng mô phỏng ~3x trên workload inference cấp MNIST
- Bộ chuyển đổi SNN bao phủ 5 kiến trúc mạng tiêu chuẩn trong thí điểm nội bộ
- Beta nội bộ với 3 nhà nghiên cứu — phản hồi tích cực về API
- Chỉ R&D nội bộ — không có khách hàng trả phí
Measured Impact
N-MNIST 精度
98.1%
baseline
DVS Gesture レイテンシ
2.8ms
sim
推定消費電力削減
41x
vs CNN
KIR 変換通過率
100%
internal
What it does
ランタイム
動的バックエンド
Loihi/Akida sim/CPU を dlopen 相当で切替。
WASM 符号化
符号化器を WASM 化しサンドボックス実行。
開発者体験
snnTorch 連携
学習済み Net オブジェクトを 1行で KIR にエクスポート。
差分検証
CPU リファレンスとバックエンドの出力スパイクを自動比較。
観測性
スパイク統計
発火率・膜電位分布を Prometheus にエクスポート。
推定消費電力
Op 数とシナプス数からエネルギー推定値を算出。
System Layers
Layered architecture showing components, responsibilities, and data flow.
Layer
符号化レイヤ
実数値入力やイベントストリームを統一スパイク列に変換する WASM モジュール群。
Layer
ランタイムコア
Rust 製の推論ランタイム。バックエンドを動的にロードし、スパイク統計を収集。
Layer
バックエンド
ハードウェアシミュレータへの橋渡しと、差分検証用の純粋 CPU リファレンス実装。
Layer
評価パイプライン
N-MNIST / DVS Gesture / SHD データセットで自動ベンチを回し、メトリクスを Prometheus に公開。
How we built it
文献調査と符号化方式選定
最新の SNN 学習手法 (surrogate gradient, STDP) と符号化方式を比較検討。
Deliverables
- 研究ノート
- 符号化比較表
- KIR ドラフト仕様
KIR 実装と変換器
snnTorch 学習済みモデルを KIR に落とす変換器を Python で実装。
Deliverables
- KIR FlatBuffers スキーマ
- snnTorch→KIR コンバータ
- 往復等価性テスト
バックエンドアダプタ
Lava と MetaTF の Op セットを KIR にマッピングし、sim 経由で推論実行。
Deliverables
- Lava Adapter
- MetaTF Adapter
- CPU リファレンス
ベンチマークと公開
代表データセットで精度 / レイテンシ / 推定消費電力を計測し、内部レポート化。
Deliverables
- ベンチスクリプト
- Prometheus ダッシュボード
- R&D レポート
Delivery Timeline
- Phase 0Done2026-04-23
KIR 仕様策定
中間表現のスキーマを FlatBuffers で固定し、Lava/MetaTF の Op 集合を網羅。
- Phase 1Done2026-04-25
Akida sim バックエンド
MetaTF 経由で N-MNIST 推論を再現しベンチマーク確立。
- Phase 2Planned2026-05
Loihi 2 sim 統合
Lava バックエンドと DVS Gesture 評価を追加。
- Phase 3Planned2026-06
エッジデバイス連携
Jetson Orin 上で sim 結果と CNN ベースラインを比較。
Who built it
Roles
- ML リサーチエンジニア
Tools & Platforms
Backend
Infrastructure
Other
Bạn quan tâm đến dự án tương tự?
Chúng tôi sẽ đề xuất giải pháp tốt nhất cho doanh nghiệp của bạn.
Trao đổi về dự án