Pelancaran
Pada 8–9 Oktober 2026, Underdog, pembantu on-device daripada Conway Research, melancarkan Saluki 27B di bawah Apache 2.0. Ia ialah versi GGUF Qwen3.8-27B yang dimampatkan kepada 2 bit, bersaiz 7.89 GB berbanding 54 GB bagi model BF16 penuh. Ia berjalan pada llama.cpp standard, tanpa fork.
Butiran menarik: pemampatan dilaraskan untuk melindungi panggilan alat (tool calling), kemahiran yang menukar model sembang menjadi ejen.
Angka (diterbitkan oleh Underdog)
- Pengekalan purata 96% merentas 9 penanda aras berbanding Qwen3.8-27B penuh.
- Underdog Bench (120 tugas BFCL v4, dibekukan sebelum ujian): Saluki 88, model penuh 84.
- Panggilan alat selari (100 tugas BFCL v4): Saluki 42, penuh 35.
- IFEval (mengikut arahan): 93.5 berbanding 91.5.
Dengan kata lain, dalam penggunaan alat dan mengikut arahan, versi termampat menyamai atau mengatasi yang asal.
Di mana ia kalah
Pemampatan memberi kesan pada penaakulan berat:
- AIME 2025: 79.2 berbanding 96.7.
- MuSR: 67.5 berbanding 79.6.
- SWE-bench Verified (50 isu): menyelesaikan 30 berbanding 33 bagi model penuh.
Matematik dan penaakulan berada pada kira-kira 82% hingga 85% daripada yang asal. Keputusan melebihi asal selepas pemampatan juga perlu dilihat dengan berhati-hati: ia mungkin mencerminkan penalaan halus yang tertumpu pada tugas itu dan variasi biasa ujian. Semua angka datang daripada vendor.
Mengapa ia penting
Model 27B yang baik dalam penggunaan alat dahulu memerlukan GPU pelayan. Pada bawah 8 GB, ia muat pada kad pengguna atau komputer riba dengan memori bersatu. Ini membuka ruang untuk ejen tempatan: automasi tugas, pertanyaan kepada sistem dalaman dan pembantu yang tidak menghantar data ke luar.
Pengajaran teknikal juga relevan: pemampatan tidak semestinya neutral. Anda boleh memilih kemahiran mana yang dilindungi mengikut kegunaan.
Cara menilai
- Uji dengan alat anda sendiri dan skema fungsi, bukan hanya penanda aras.
- Untuk matematik atau penaakulan panjang, simpan model lebih besar sebagai sandaran.
- Semak lesen model asas (Qwen) selain Apache 2.0 Saluki.
- Ukur memori dan kelajuan pada perkakasan sebenar.
Sumber
- MarkTechPost (9 Okt 2026): https://www.marktechpost.com/2026/10/09/meet-the-underdog-saluki-27b-a-2-bit-qwen3-8-27b-that-beats-the-original-at-tool-calling/
- Hugging Face, ConwayResearch/Underdog-Saluki-27B-1.0: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
Mahu menjalankan ejen AI tempatan tanpa menghantar data ke awan? KGA IT menawarkan konsultasi percuma: kga-it.com.