10 月 24 日，ConwayResearch 在 Hugging Face 上发布 Underdog Saluki 27B 1.0，把 Qwen3.8-27B 压进 7.9 GB 的 GGUF 文件，同时声称在工具调用基准上反超了未量化的完整版模型。
2 bit 量化下的工具调用成绩
Saluki 采用 IQ2 mix 方案，平均量化密度约 2 bit，文件大小 7,898,369,152 字节，比 ISTA 的 GSQ-RCO IQ2_XS 版本 8.42 GB 还小约 525 MB。厂商给出的 Underdog Bench 共 120 题，Saluki 拿到 88 分，ISTA 版本 76 分，54 GB 的完整版 Qwen3.8-27B 为 84 分。分类别看，Saluki 在简单函数调用拿到 24 满分，多选 23 分，不相关工具识别 18 分，并行调用 12 分，多工具并行 11 分。该题集未公开，无法独立复现。
权重被改过但不是重打包
文件级检查显示两个 GGUF 都有 851 个张量，名称与形状完全一致，但 Saluki 修改了 146 个张量的量化类型，全部是降级，没有升级，主要发生在前馈下投影和输出层。在 352 个保持原类型的量化矩阵里只有 1 个逐字节相同，其余仍有 98.4% 字节内容相同，未量化的 F32 归一化向量中位相对变化约为万分之几。也就是说它是在轻改权重后用更激进的量化网格重新编码，而不是简单重打包。基础模型 Qwen3.8-27B 采用 Gated DeltaNet 线性注意力加周期性全注意力的混合结构，64 个 block 中 48 层是线性注意力、16 层是全注意力。
本地跑起来需要多少显存
文章用 llama.cpp b11565 版本做了部署验证，设置 16384 上下文，全注意力层 KV cache 每 token 约 64 KiB，折算约 1 GiB，线性注意力的循环状态每条序列固定约 150 MiB 且不随上下文增长，加权重大约 7.9 GB，合计接近 9 GB 再加计算缓冲。整体思路与Qwen3.8-Omni-Flash 端侧化是同一条路线，把旗舰级模型压进个人设备。
值得留意的是厂商口径与独立复测的落差：文章自己抽样的 120 题复测代码写好了，但并没有给出最终分数与显著性检验结果。
延伸阅读
- 阿里发布 Qwen3.8-Flash：每 Token 仅激活 6B 参数，训练成本降至 Qwen3.7-Plus 的 1/91 月前
- Anthropic 向 METR 开放「员工级」评估权限：第三方 AI 安全审计走到哪一步1 周前
- OpenAI暂停前沿训练：1200个智能体失控背后，100家机构的代价与监管重构3 周前
- Qwen3.8-Omni-Flash：29项基准涨25%、API降93%1 周前
继续读
同一批更新里这几篇值得一看：
- 英伟达 Microduck 机器人预订超 2 万台 GTC 柏林走热2026-10-24
- Carbon-X：14.8B DNA 模型 66.7 分，成本仅 1/18002026-10-23
- 腾讯混元Terminal-RSI：Qwen3.8基座拿下19.84%基准分2026-10-19
想快速查定义？对应的词条在这里：
- Qwen词条 · AI 自学笔记