Ang paglulunsad
Noong Oktubre 8–9, 2026, inilabas ng Underdog, ang on-device assistant ng Conway Research, ang Saluki 27B sa ilalim ng Apache 2.0. Isa itong GGUF na bersyon ng Qwen3.8-27B na na-compress sa 2 bits, na 7.89 GB lang kumpara sa 54 GB ng buong BF16 model. Tumatakbo ito sa karaniwang llama.cpp, walang fork.
Ang kawili-wiling detalye: inayos ang compression para protektahan ang tool calling, ang kakayahang ginagawang agent ang isang chat model.
Ang mga numero (inilathala ng Underdog)
- 96% average retention sa 9 benchmark kumpara sa buong Qwen3.8-27B.
- Underdog Bench (120 BFCL v4 task, naka-freeze bago ang test): Saluki 88, buong model 84.
- Parallel tool calls (100 BFCL v4 task): Saluki 42, buo 35.
- IFEval (pagsunod sa instructions): 93.5 laban sa 91.5.
Ibig sabihin, sa paggamit ng tools at pagsunod sa instructions, kapantay o mas mahusay ang compressed na bersyon kaysa sa orihinal.
Saan ito natatalo
May kapalit ang compression sa mabigat na reasoning:
- AIME 2025: 79.2 laban sa 96.7.
- MuSR: 67.5 laban sa 79.6.
- SWE-bench Verified (50 issue): nakaayos ng 30 laban sa 33 ng buong model.
Nasa mga 82% hanggang 85% ng orihinal ang math at reasoning. Dapat ding mag-ingat sa resultang lampas sa orihinal pagkatapos ng compression: maaaring dahil ito sa fine-tuning na nakatuon sa mga gawaing iyon at sa normal na pagbabago-bago ng tests. Galing lahat ng numero sa vendor.
Bakit mahalaga
Dati, kailangan ng server GPU ang 27B model na mahusay sa tool use. Sa wala pang 8 GB, kasya na ito sa consumer card o laptop na may unified memory. Nagbubukas ito ng puwang para sa local agents: task automation, pag-query sa internal systems at assistants na hindi naglalabas ng data.
Mahalaga rin ang aral na teknikal: hindi kailangang neutral ang compression. Maaari mong piliin kung aling kakayahan ang poprotektahan ayon sa gamit.
Paano ito suriin
- Subukan gamit ang sarili mong tools at function schemas, hindi lang benchmarks.
- Para sa math o mahabang reasoning, magtabi ng mas malaking model bilang reserba.
- Tingnan ang lisensya ng base model (Qwen) bukod sa Apache 2.0 ng Saluki.
- Sukatin ang memory at bilis sa totoong hardware.
Mga pinagmulan
- MarkTechPost (Okt 9, 2026): https://www.marktechpost.com/2026/10/09/meet-the-underdog-saluki-27b-a-2-bit-qwen3-8-27b-that-beats-the-original-at-tool-calling/
- Hugging Face, ConwayResearch/Underdog-Saluki-27B-1.0: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
Gusto mo bang magpatakbo ng local AI agents nang hindi nagpapadala ng data sa cloud? Nag-aalok ang KGA IT ng libreng konsultasyon: kga-it.com.