Ra mắt
Ngày 8–9/10/2026, Underdog, trợ lý chạy trên thiết bị của Conway Research, phát hành Saluki 27B theo giấy phép Apache 2.0. Đây là bản GGUF của Qwen3.8-27B được nén xuống 2 bit, chỉ chiếm 7,89 GB so với 54 GB của mô hình BF16 đầy đủ. Nó chạy trên llama.cpp tiêu chuẩn, không cần bản fork.
Chi tiết đáng chú ý: việc nén được tinh chỉnh để bảo vệ khả năng gọi công cụ (tool calling), kỹ năng biến mô hình chat thành tác tử.
Số liệu (do Underdog công bố)
- Giữ lại trung bình 96% trên 9 điểm chuẩn so với Qwen3.8-27B đầy đủ.
- Underdog Bench (120 tác vụ BFCL v4, cố định trước khi thử): Saluki 88, mô hình đầy đủ 84.
- Gọi công cụ song song (100 tác vụ BFCL v4): Saluki 42, bản đầy đủ 35.
- IFEval (làm theo chỉ dẫn): 93,5 so với 91,5.
Nói cách khác, ở việc dùng công cụ và làm theo chỉ dẫn, bản nén ngang bằng hoặc vượt bản gốc.
Điểm yếu
Việc nén phải trả giá ở suy luận nặng:
- AIME 2025: 79,2 so với 96,7.
- MuSR: 67,5 so với 79,6.
- SWE-bench Verified (50 issue): sửa được 30 so với 33 của bản đầy đủ.
Toán và suy luận đạt khoảng 82% đến 85% bản gốc. Kết quả vượt bản gốc sau khi nén cũng cần thận trọng: có thể phản ánh tinh chỉnh tập trung vào các tác vụ đó và dao động thông thường của bài thử. Mọi số liệu đều do nhà cung cấp công bố.
Vì sao quan trọng
Một mô hình 27B giỏi dùng công cụ trước đây cần GPU máy chủ. Với dưới 8 GB, nó vừa với card đồ họa phổ thông hoặc laptop có bộ nhớ hợp nhất. Điều đó mở ra tác tử cục bộ: tự động hóa công việc, truy vấn hệ thống nội bộ và trợ lý không gửi dữ liệu ra ngoài.
Bài học kỹ thuật cũng đáng chú ý: nén không nhất thiết phải trung tính. Bạn có thể chọn bảo vệ kỹ năng nào tùy mục đích sử dụng.
Cách đánh giá
- Thử với công cụ của chính bạn và schema hàm, không chỉ điểm chuẩn.
- Với toán hoặc suy luận dài, giữ một mô hình lớn hơn làm dự phòng.
- Kiểm tra giấy phép của mô hình gốc (Qwen) bên cạnh Apache 2.0 của Saluki.
- Đo bộ nhớ và tốc độ trên phần cứng thật.
Nguồn
- MarkTechPost (9/10/2026): https://www.marktechpost.com/2026/10/09/meet-the-underdog-saluki-27b-a-2-bit-qwen3-8-27b-that-beats-the-original-at-tool-calling/
- Hugging Face, ConwayResearch/Underdog-Saluki-27B-1.0: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
Bạn muốn chạy tác tử AI cục bộ mà không gửi dữ liệu lên đám mây? KGA IT cung cấp tư vấn miễn phí: kga-it.com.