O lançamento
Em 8 e 9 de outubro de 2026, a Underdog, assistente on-device da Conway Research, lançou o Saluki 27B sob licença Apache 2.0. É uma versão do Qwen3.8-27B comprimida para 2 bits em formato GGUF, que ocupa 7,89 GB, contra 54 GB do modelo completo em BF16. Roda no llama.cpp padrão, sem forks.
O detalhe interessante: a compressão foi ajustada para proteger a chamada de ferramentas (tool calling), a habilidade que transforma um modelo de chat num agente.
Os números (divulgados pela Underdog)
- Retenção média de 96% em 9 benchmarks, comparado ao Qwen3.8-27B completo.
- Underdog Bench (120 tarefas do BFCL v4, congeladas antes do teste): Saluki 88, modelo completo 84.
- Chamadas de ferramentas em paralelo (100 tarefas do BFCL v4): Saluki 42, completo 35.
- IFEval (seguir instruções): 93,5 contra 91,5.
Ou seja, em uso de ferramentas e seguir instruções, a versão comprimida empata ou supera o original.
Onde perde
A compressão cobra seu preço em raciocínio pesado:
- AIME 2025: 79,2 contra 96,7.
- MuSR: 67,5 contra 79,6.
- SWE-bench Verified (50 issues): resolve 30 contra 33 do modelo completo.
Matemática e raciocínio ficam em cerca de 82% a 85% do original. Um resultado acima do original após compressão também merece cautela: pode refletir o ajuste fino focado nessas tarefas e a variação natural dos testes. Todos os números vêm do próprio fornecedor.
Por que importa
Um modelo de 27B com bom uso de ferramentas costumava exigir uma GPU de servidor. Em menos de 8 GB, ele cabe numa placa de consumo ou num notebook com memória unificada. Isso abre espaço para agentes locais: automação de tarefas, consultas a sistemas internos e assistentes que não mandam dados para fora.
A lição técnica também vale: compressão não precisa ser neutra. Dá para escolher quais habilidades proteger conforme o uso.
Como avaliar
- Teste com suas próprias ferramentas e esquemas de função, não só com benchmarks.
- Para matemática ou raciocínio longo, mantenha um modelo maior como reserva.
- Confira a licença do modelo base (Qwen) além da Apache 2.0 do Saluki.
- Meça memória e velocidade no hardware real.
Fontes
- MarkTechPost (9/10/2026): https://www.marktechpost.com/2026/10/09/meet-the-underdog-saluki-27b-a-2-bit-qwen3-8-27b-that-beats-the-original-at-tool-calling/
- Hugging Face, ConwayResearch/Underdog-Saluki-27B-1.0: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
Quer rodar agentes de IA locais, sem mandar dados para a nuvem? A KGA IT oferece uma consulta gratuita: kga-it.com.