GGUF 量化档位怎么选:1.7B 七档实测,Q2 直接报废

结论先给:1.7B 这一档模型上,Q4_K_M 是唯一不用付代价的量化档位。同一份 BF16 压出七档做对比,Q4_K_M 的 48 道中文题得分与未量化的 BF16 完全一致,体积只剩三成,解码快 2.6 倍。再往下每降一档都要掉分,Q3_K_M 掉 5 题,Q2_K 只剩 4 题。

测试用的是 M4 Mac 16GB 统一内存,llama.cpp 0.9.0 build 12110,模型 Qwen3-1.7B。七档权重全部由同一个 BF16 文件用 llama-quantize 现压,避免不同来源的权重混进来。压出来的体积与社区预量化版本对得上,Q4_K_M 都是 1056.1 MiB,说明量化配方是确定的,不存在某家压得更狠。想直接下现成文件的做法,整理在 模型下载那篇里。

三套测法怎么搭

三个口径一起看,缺一个都会误判。困惑度看模型对文本的贴合度,48 道题看实际答对多少,速度用 llama-bench 单独测。语料取站内 8 篇技术稿拼成 29466 字,固定 512 上下文与 28 个块,保证七档之间只差权重精度这一个变量。

题目三类各 16 道。单据字段抽取要求单据号、对方单位全称、金额三项全对才给分;中文算术与单位换算归一化后比对数值;短段落阅读理解比对关键短语。统一温度 0、top_p 1、seed 42、最大 160 token,并且关掉思考链。最后一条决定成败,第五节单独讲。

压缩命令只有档位名在变,1.7B 压一档 8 到 11 秒,全流程瓶颈在评测不在量化:

llama-quantize Qwen3-1.7B-BF16.gguf Qwen3-1.7B-Q4_K_M.gguf Q4_K_M
llama-quantize Qwen3-1.7B-BF16.gguf Qwen3-1.7B-Q3_K_M.gguf Q3_K_M
llama-quantize Qwen3-1.7B-BF16.gguf Qwen3-1.7B-Q8_0.gguf Q8_0

权重从 safetensors 转成 GGUF 是另一条链路,脚本与三处静默失败写在转换那篇里,这里从 BF16 起步。

七档实测数据

档位 体积 MiB 占 BF16 困惑度 512 困惑度涨幅 48 题得分 解码 tok/s 预填充 tok/s 加载后常驻 MiB
BF16 3287.6 100% 40.89 基准 39/48 27.0 1086 3876
Q8_0 1749.4 53.2% 40.89 +0.00% 40/48 44.3 1007 2337
Q6_K 1352.1 41.1% 41.03 +0.34% 39/48 56.2 911 1940
Q5_K_M 1199.6 36.5% 41.69 +1.95% 40/48 62.1 853 1786
Q4_K_M 1056.1 32.1% 43.39 +6.10% 39/48 70.6 971 1645
Q3_K_M 896.0 27.3% 51.33 +25.5% 34/48 65.4 948 1484
Q2_K 741.8 22.6% 219.47 +436.7% 4/48 77.0 979 1330

读这张表只用看三行。Q8_0 的困惑度 40.8936 对 BF16 的 40.8946,差 0.0024 个百分点,等于零损失,可以当无损压缩用。Q4_K_M 涨到 43.39,涨幅 6.1 个百分点,48 道题却一题没丢,分类逐项相同:抽取 16 对 16、算术 9 对 9、阅读 14 对 14。Q3_K_M 开始变性,困惑度涨 25.5 个百分点,题目掉 5 道。Q2_K 谈不上掉分,整体已经失效。

体积那列更能说明取舍。从 BF16 到 Q4_K_M 省掉 68% 的磁盘与内存,代价是 6.1 个困惑度点;再从 Q4_K_M 往下降到 Q3_K_M,只多省 160 MiB,代价跳到 25.5 个点。边际收益在这里断崖,这也是 Q4_K_M 被当默认档的真实原因。

掉分的是哪类题

档位 单据字段抽取 中文算术 段落阅读理解 合计
BF16 16/16 9/16 14/16 39/48
Q8_0 16/16 10/16 14/16 40/48
Q6_K 16/16 9/16 14/16 39/48
Q5_K_M 16/16 10/16 14/16 40/48
Q4_K_M 16/16 9/16 14/16 39/48
Q3_K_M 15/16 8/16 11/16 34/48
Q2_K 0/16 0/16 4/16 4/48

格式类任务抗压,长段理解先崩。Q3_K_M 的 JSON 抽取还有 15/16,只错一道,因为它只需要在短文里找三个字段照抄。同档位的阅读理解从 14 掉到 11,算术从 9 掉到 8。

这条和常见说法相反。很多教程讲低比特会让模型胡编字段,本轮 384 次请求里编造字段一次都没出现,丢的全是需要读懂整段再判断的题。用 Q3 做单据录入会感觉良好,要它读完一段合同再回答就开始漏。

统计口径要交代清楚。每类只有 16 题,一题值 6.25 个百分点。Q4_K_M 与 Q5_K_M 差 1 题(39 对 40),属噪声,不能据此说 Q5 更准。Q3_K_M 与 BF16 的 5 题差距、Q2_K 的 44 题差距才是真信号。

量化买的是解码速度,预填充没变化

解码从 BF16 的 27.0 token/s 一路升到 Q2_K 的 77.0,方向明确:模型越小,每生成一个 token 要读的字节越少。Q4_K_M 拿到 70.6,是 BF16 的 2.6 倍,这条提升对对话与批量生成最直接。

预填充的曲线完全不同。七档的 512 token 预填充散在 853 到 1086 之间,未量化的 BF16 反而最快(1086),Q5_K_M 最慢(853)。预填充是计算密集的矩阵乘,量化省下的是内存带宽,还要额外付反量化的开销。想让长文档摘要变快,量化主要省的是生成段,首字延迟基本不动。

还有一处反直觉:Q3_K_M 体积 896 MiB,比 Q4_K_M 的 1056 MiB 小 15%,解码却慢 7%(65.4 对 70.6)。这个差距在两次独立测量里都重现,属真差别。3 位权重的反量化路径在 Metal 上并不比 4 位便宜。省 160 MiB 换一个又慢又差的档位,Q3_K_M 是本轮最不划算的选择。解码还有别的杠杆,投机解码能在不改权重的前提下再拉一截,代价是要另配一个草稿模型,具体参数见投机解码实测。

困惑度不能跨上下文长度比

这是最容易做错的一步。同一个 Q4_K_M、同样 14336 个 token,512 上下文切 28 块算出来是 43.39,1024 上下文切 14 块算出来是 35.81,差 17.5 个百分点。BF16 同样从 40.89 掉到 33.07。

llama-perplexity -m Qwen3-1.7B-Q4_K_M.gguf -f corpus.txt -c 512 -b 512 --chunks 28
llama-perplexity -m Qwen3-1.7B-Q4_K_M.gguf -f corpus.txt -c 1024 -b 512 --chunks 14

网上同一个模型能查到 6 和 9 两种困惑度,很可能就是这个差别。要比两个档位,必须把上下文长度与块数锁死;引用别人的数字,先问他上下文开多大。这里还夹着一个发现:上下文放大后,Q4_K_M 与 BF16 的相对差距从 6.1% 扩到 8.3%,量化损失会随上下文变长而放大。

踩坑:思考链不关,同一文件从 39 分掉到 6 分

Qwen3 默认在回答前输出思考过程。这次对照用同一个 Q4_K_M 文件、同一批 48 道题,只把 chat_template_kwargs 里的 enable_thinking 改成 true,得分从 39/48 掉到 6/48。

判断方法看两个字段。这一轮 41 个请求的 finish_reason 是 length,content 是空串,思考过程平均写掉 237 个字符,160 token 的预算在思考阶段就烧光,答案一个字没出来。模型本身没问题,预算被前一步吃干。

所以看到有评测说某档量化在结构化任务上完全不能用,先查它关没关思考链。把预算抬到 600 以上也能出答案,但每题耗时与 token 成本翻几倍,对比实验就失去意义。服务端这样关:

llama-server -m Qwen3-1.7B-Q4_K_M.gguf --port 8080 -c 4096 -ngl 99
curl -s http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"messages":[{"role":"user","content":"1+1"}],"temperature":0,"max_tokens":160,"chat_template_kwargs":{"enable_thinking":false}}'

另有两个小坑值得记。mmap 加载下进程内存不能当真实占用:边跑题边读是 1645、2109、2140、2315 这种非单调序列,改成加载完静置 3 秒再读才回到 1330、1484、1645、1786 的单调序列,页缓存被换出会让读数短时偏低。测序也会影响速度数字,Q3_K_M 单独测 128 token 解码是 66.4,先跑 512 预填充再测是 60.6,差 6 个点。要比速度就固定测序。

三个场景怎么选

显存或统一内存 8GB 以上的机器,直接 Q4_K_M。它是本轮的拐点:得分与 BF16 逐项相同,体积三成,解码最快。1056 MiB 权重配 4096 上下文,实测常驻 1645 MiB,余量很足。要按自己的上下文长度算总账,可以套显存测算那篇的公式,把权重那一项换成上表的体积。

4GB 到 6GB 的老机器,先降到 Q3_K_M,再考虑换更小的模型。它能省 160 MiB、总分掉 10 个百分点,只在读取类任务上勉强可用。真撑不住的时候,换 0.6B 的 Q4_K_M 比把 1.7B 压到 Q2_K 更合理,后者 48 题只对 4 道。

对精度敏感的抽取与合规场景走 Q8_0。困惑度与 BF16 差 0.0024 个百分点,体积只有 53%,解码快 64%。它比 BF16 更适合当基线,因为能装进 16GB 机器,重复跑出来的数字也稳定。

常见问题

Q4_K_M 和 Q5_K_M 到底差多少?
体积差 143 MiB,困惑度 Q5 低 1.7 个百分点(41.69 对 43.39),48 道题差 1 道属噪声。1.7B 这个量级 Q4_K_M 够用,省下的 143 MiB 留给 KV 缓存更划算。

Q2_K 真的不能用吗?
本轮 48 题只对 4 道,JSON 抽取 0/16,困惑度 219 是 BF16 的 5.4 倍。它的解码速度是最快的 77.0 token/s,但答不对就没有意义。宁可用更小的模型配 Q4,也别用同尺寸的 Q2。

为什么我测的数字和别人差很远?
先查三件事:上下文长度是否一致、思考链是否关掉、解码是否同测序。三项任一项不同,困惑度能差 17 个百分点,得分能差 33 道题。

全部文章归档与模型专题