El lanzamiento
El 8 y 9 de octubre de 2026, Underdog, el asistente on-device de Conway Research, lanzó Saluki 27B bajo licencia Apache 2.0. Es una versión de Qwen3.8-27B comprimida a 2 bits en formato GGUF que ocupa 7,89 GB, frente a los 54 GB del modelo completo en BF16. Funciona en llama.cpp estándar, sin forks.
El detalle interesante: la compresión se ajustó para proteger la llamada a herramientas (tool calling), la habilidad que convierte un modelo de chat en un agente.
Las cifras (publicadas por Underdog)
- Retención media del 96% en 9 benchmarks frente al Qwen3.8-27B completo.
- Underdog Bench (120 tareas de BFCL v4, congeladas antes de la prueba): Saluki 88, modelo completo 84.
- Llamadas a herramientas en paralelo (100 tareas de BFCL v4): Saluki 42, completo 35.
- IFEval (seguir instrucciones): 93,5 frente a 91,5.
Es decir, en uso de herramientas y seguimiento de instrucciones, la versión comprimida iguala o supera al original.
Dónde pierde
La compresión pasa factura en el razonamiento pesado:
- AIME 2025: 79,2 frente a 96,7.
- MuSR: 67,5 frente a 79,6.
- SWE-bench Verified (50 issues): resuelve 30 frente a 33 del modelo completo.
Matemáticas y razonamiento quedan en torno al 82% a 85% del original. Un resultado superior al original tras comprimir también merece cautela: puede reflejar un ajuste fino centrado en esas tareas y la variación normal de las pruebas. Todas las cifras proceden del proveedor.
Por qué importa
Un modelo de 27B con buen uso de herramientas solía requerir una GPU de servidor. Con menos de 8 GB, cabe en una tarjeta de consumo o en un portátil con memoria unificada. Eso abre espacio para agentes locales: automatización de tareas, consultas a sistemas internos y asistentes que no envían datos fuera.
La lección técnica también vale: la compresión no tiene por qué ser neutral. Se puede elegir qué habilidades proteger según el uso.
Cómo evaluarlo
- Pruebe con sus propias herramientas y esquemas de funciones, no solo con benchmarks.
- Para matemáticas o razonamiento largo, mantenga un modelo mayor de respaldo.
- Revise la licencia del modelo base (Qwen) además de la Apache 2.0 de Saluki.
- Mida memoria y velocidad en su hardware real.
Fuentes
- MarkTechPost (9/10/2026): https://www.marktechpost.com/2026/10/09/meet-the-underdog-saluki-27b-a-2-bit-qwen3-8-27b-that-beats-the-original-at-tool-calling/
- Hugging Face, ConwayResearch/Underdog-Saluki-27B-1.0: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0
¿Quiere ejecutar agentes de IA locales sin enviar datos a la nube? KGA IT ofrece una consulta gratuita: kga-it.com.