発表
2026年10月8〜9日、Conway Research のオンデバイスアシスタント Underdog は Saluki 27B を Apache 2.0 で公開しました。Qwen3.8-27B を2ビットに圧縮 した GGUF 版で、サイズは 7.89GB。BF16 の完全版の 54GB と比べて大幅に小さく、フォークではない 標準の llama.cpp で動きます。
興味深いのは、チャットモデルをエージェントに変える能力である ツール呼び出しを守るよう 圧縮を調整した点です。
数字(Underdog の公表値)
- 9つのベンチマークで、完全版の Qwen3.8-27B に対し 平均96%を維持
- Underdog Bench(テスト前に固定した BFCL v4 の120タスク):Saluki 88、完全版 84
- 並列ツール呼び出し(BFCL v4 の100タスク):Saluki 42、完全版 35
- IFEval(指示追従):93.5対91.5
つまり、ツール利用と指示追従では、圧縮版が元のモデルと 同等かそれ以上 です。
弱くなるところ
重い推論では圧縮の代償が出ます。
- AIME 2025: 79.2対96.7
- MuSR: 67.5対79.6
- SWE-bench Verified(50件):完全版の33件に対し30件を解決
数学と推論は元の約 82〜85% にとどまります。圧縮後に元を上回る結果も慎重に見るべきで、そうしたタスクに絞った微調整や、テストの通常のばらつきを反映している可能性があります。数字はすべてベンダー自身によるもの です。
なぜ重要か
ツール利用に優れた27B モデルは、これまでサーバー用 GPU を必要としました。8GB 未満 なら、一般向けのグラフィックカードやユニファイドメモリのノート PC に収まります。タスク自動化、社内システムへの問い合わせ、データを外に出さないアシスタントなど、ローカルエージェント の可能性が広がります。
技術的な教訓もあります。圧縮は中立である必要はない。用途に応じて、どの能力を守るか選べるのです。
評価の進め方
- ベンチマークだけでなく、自社のツール と関数スキーマで試す
- 数学や長い推論には、より大きなモデルを予備として残す
- Saluki の Apache 2.0 に加え、ベースモデル(Qwen)のライセンスも確認する
- 実際のハードウェアでメモリと速度を測る
出典
- MarkTechPost(2026年10月9日): https://www.marktechpost.com/2026/10/09/meet-the-underdog-saluki-27b-a-2-bit-qwen3-8-27b-that-beats-the-original-at-tool-calling/
- Hugging Face, ConwayResearch/Underdog-Saluki-27B-1.0: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
データをクラウドに送らずにローカルで AI エージェントを動かしたいですか?KGA IT は無料相談を受け付けています:kga-it.com