发布
2026 年 10 月 8 至 9 日,Conway Research 旗下的端侧助手 Underdog 以 Apache 2.0 许可发布了 Saluki 27B。这是 Qwen3.8-27B 压缩到 2 比特 的 GGUF 版本,仅占 7.89 GB,而完整的 BF16 模型需要 54 GB。它可在 原版 llama.cpp 中运行,无需分支版本。
有意思的是:压缩经过专门调整,以 保护工具调用能力——正是这种能力让聊天模型变成智能体。
数据(Underdog 公布)
- 在 9 项基准上相对完整版 Qwen3.8-27B 平均保留 96%。
- Underdog Bench(测试前冻结的 120 个 BFCL v4 任务):Saluki 88,完整模型 84。
- 并行工具调用(100 个 BFCL v4 任务):Saluki 42,完整模型 35。
- IFEval(指令遵循):93.5 对 91.5。
也就是说,在工具使用和指令遵循上,压缩版 持平甚至超过 原模型。
短板
在高强度推理上,压缩付出了代价:
- AIME 2025: 79.2 对 96.7。
- MuSR: 67.5 对 79.6。
- SWE-bench Verified(50 个问题):解决 30 个,完整模型为 33 个。
数学和推理约为原模型的 82% 至 85%。压缩后反超原模型的结果也需谨慎看待,可能反映了针对这些任务的微调以及测试的正常波动。所有数据均来自厂商本身。
为何重要
工具调用能力强的 27B 模型过去需要服务器级 GPU。压缩到 8 GB 以内 后,可装进消费级显卡或统一内存的笔记本。这为 本地智能体 打开了空间:任务自动化、查询内部系统、以及不把数据外传的助手。
技术上的启示同样重要:压缩不必是中性的。可以根据用途选择保护哪些能力。
如何评估
- 用 您自己的工具 和函数模式测试,而不仅是基准。
- 数学或长推理任务,保留一个更大的模型作为后备。
- 除了 Saluki 的 Apache 2.0,也要检查基础模型(Qwen)的许可。
- 在实际硬件上测量内存和速度。
来源
- MarkTechPost(2026 年 10 月 9 日): https://www.marktechpost.com/2026/10/09/meet-the-underdog-saluki-27b-a-2-bit-qwen3-8-27b-that-beats-the-original-at-tool-calling/
- Hugging Face, ConwayResearch/Underdog-Saluki-27B-1.0: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
想在本地运行 AI 智能体、不把数据发到云端吗?KGA IT 提供免费咨询:kga-it.com