출시
2026년 10월 8~9일, Conway Research의 온디바이스 어시스턴트 Underdog이 Saluki 27B를 Apache 2.0으로 공개했습니다. Qwen3.8-27B를 2비트로 압축한 GGUF 버전으로 크기는 7.89GB이며, BF16 전체 모델의 54GB보다 훨씬 작습니다. 포크 없이 표준 llama.cpp에서 실행됩니다.
흥미로운 점은 채팅 모델을 에이전트로 만드는 능력인 도구 호출을 보호하도록 압축을 조정했다는 것입니다.
수치(Underdog 발표)
- 9개 벤치마크에서 전체 Qwen3.8-27B 대비 평균 96% 유지
- Underdog Bench(테스트 전 고정한 BFCL v4 120개 과제): Saluki 88, 전체 모델 84
- 병렬 도구 호출(BFCL v4 100개 과제): Saluki 42, 전체 35
- IFEval(지시 따르기): 93.5 대 91.5
즉 도구 사용과 지시 따르기에서는 압축 버전이 원본과 같거나 더 낫습니다.
약해지는 부분
무거운 추론에서는 압축의 대가가 있습니다.
- AIME 2025: 79.2 대 96.7
- MuSR: 67.5 대 79.6
- SWE-bench Verified(50개 이슈): 전체 모델 33개 대비 30개 해결
수학과 추론은 원본의 약 82~85% 수준입니다. 압축 후 원본을 넘는 결과도 신중히 봐야 합니다. 해당 과제에 맞춘 미세 조정과 테스트의 자연스러운 편차일 수 있습니다. 모든 수치는 벤더 자체 발표입니다.
왜 중요한가
도구 사용을 잘하는 27B 모델은 원래 서버용 GPU가 필요했습니다. 8GB 미만이면 소비자용 그래픽카드나 통합 메모리 노트북에 들어갑니다. 작업 자동화, 사내 시스템 조회, 데이터를 외부로 보내지 않는 어시스턴트 등 로컬 에이전트의 길이 열립니다.
기술적 교훈도 있습니다. 압축이 중립적일 필요는 없습니다. 용도에 따라 어떤 능력을 지킬지 고를 수 있습니다.
평가 방법
- 벤치마크만이 아니라 자사 도구와 함수 스키마로 시험하세요.
- 수학이나 긴 추론에는 더 큰 모델을 예비로 두세요.
- Saluki의 Apache 2.0과 함께 기반 모델(Qwen)의 라이선스도 확인하세요.
- 실제 하드웨어에서 메모리와 속도를 측정하세요.
출처
- MarkTechPost(2026.10.9): https://www.marktechpost.com/2026/10/09/meet-the-underdog-saluki-27b-a-2-bit-qwen3-8-27b-that-beats-the-original-at-tool-calling/
- Hugging Face, ConwayResearch/Underdog-Saluki-27B-1.0: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
데이터를 클라우드로 보내지 않고 로컬 AI 에이전트를 운영하고 싶으신가요? KGA IT가 무료 상담을 제공합니다: kga-it.com