在 9008 块中文语料、62 条查询上测完,结论可以先给:给混合检索的 20 条候选加一层 bge-reranker-v2-m3 重排,正确答案排在第一的比例从 31% 涨到 60%,进前五的从 68% 涨到 81%。代价是每条查询多 2.2 秒,而前面的检索全链路只要 38 毫秒。
值不值取决于你的延迟预算放在哪。如果你的候选集只来自向量检索,先别加,重排反而会把成绩拉低到 58%,比不重排的混合检索还差 10 个点。原因在下面第三节。
测试集怎么搭的
语料直接取本站 1300 篇技术稿,去掉标签与脚本后 219 万字,按 300 字一块、50 字重叠切成 9008 块。查询 62 条,其中 38 条问句由 qwen3:8b 从答案句改写,24 条关键词由分词从答案句里取前三个实体词。每条查询的金标是含答案句的那一块,且该句必须全语料只出现一次,这样大块不会天然占优。
指标用 r@1、r@3、r@5 与 MRR@5,全部按块级严格判定。原来准备了 75 条查询,剔掉了 13 条把原句连抄 14 字以上的,剩下的 62 条里单条权重是 1.6 个点,所以两三个点以内的差距都算噪声,别拿它下结论。
混合检索的融合方式是 RRF,向量与 BM25 各取 50 条,按 1/(60+rank) 相加。重排统一在候选集前 20 条上做,排完取前五。
八个方案的成绩单
| 方案 | r@1 | r@3 | r@5 | MRR@5 | 单查询耗时 |
|---|---|---|---|---|---|
| 纯向量(qwen3-embedding:0.6b) | 18% | 34% | 47% | 0.275 | 33 毫秒 |
| 纯向量加检索指令 | 24% | 44% | 45% | 0.323 | 33 毫秒 |
| BM25 单独 | 40% | 61% | 65% | 0.507 | 6 毫秒 |
| 混合 RRF(向量与 BM25) | 31% | 57% | 68% | 0.445 | 38 毫秒 |
| 混合 20 条加 bge-reranker-base | 48% | 65% | 77% | 0.592 | 0.76 秒 |
| 混合 20 条加 bge-reranker-v2-m3 | 60% | 79% | 81% | 0.692 | 2.18 秒 |
| 纯向量 20 条加 v2-m3 | 48% | 58% | 58% | 0.524 | 2.10 秒 |
| 混合 20 条加 qwen3:8b 排序 | 44% | 55% | 60% | 0.494 | 15.6 秒 |
表里最扎眼的不是重排那两行,是 BM25 单独跑出的 40%。它只用 6 毫秒,r@1 就是纯向量的两倍多。中文技术语料里大量查询带着实体名、版本号和数字,这类词在词频层面几乎不会漂移,向量反而容易把它们抹平。
重排修的是排序,不是召回
混合检索的前五命中是 68%,重排后到 81%,净赚 8 条。拆开看更清楚:62 条里 10 条原本排在 6 到 20 名,被提到第一,最极端的从第 20 名直接到第一;只有 2 条原本在前五的被挤出去。MRR@5 从 0.445 升到 0.692,说明提升集中在头部。
但重排没有改变候选集里有什么。混合 top-20 含金标的比例是 87%,重排的上限就锁在 87%,实测拿到 81%。剩下 13% 的查询,正确答案压根没进候选,重排再准也救不回来。这也回答了一个常见误解:重排不能掩盖召回阶段的坑。
分类型看,问句的 r@1 从 37% 到 68%,关键词的从 21% 到 46%。关键词涨得更多,因为它们的候选集更脏,交叉编码器逐字比对 query 与段落的收益更大。想补切分与块长这一层,可以看RAG 切分怎么设那篇的实测,块长与重叠对召回的影响比重排大一个量级。
候选集决定天花板
同样的 v2-m3,换到纯向量候选集上,r@1 48%、r@5 只到 58%。这个成绩低于不重排的混合检索 68%,也就是说在烂候选集上做重排,纯属白花 2 秒。根因是纯向量 top-20 里只有 61% 含金标,天花板比混合的 87% 低了 26 个点。
所以上线顺序应该是:先把召回补齐(加 BM25 融合,或换更强的嵌入模型),再考虑重排。判断方法很简单,先算候选集的 r@20,也就是正确答案有没有进候选。这个数低于 80%,先别碰重排器。选库与延迟这一层可以看本地向量库怎么选,那边实测了 9000 条量级下四个库的耗时。
免费的指令前缀先加上
qwen3-embedding 这类模型支持查询指令。给查询前面拼一句固定前缀,r@1 从 18% 到 24%,MRR@5 从 0.275 到 0.323,r@3 从 34% 到 44%。不花一分钱,不加延迟,改一行代码的事。代价是 r@5 从 47% 掉到 45%,一个点的差距在噪声范围内。
注意 Ollama 的 /api/embed 不会自动加这个前缀,得自己拼。Ollama 侧只认你传进去的那段文本,模型内部的 instruction 模板不生效。嵌入模型本身的选型与维度问题,在知识库配嵌入那篇里有逐条实测。
便宜一半的模型能拿到多少
bge-reranker-base 是 1.1GB,20 条候选跑 0.76 秒;v2-m3 是 2.3GB,跑 2.18 秒,慢 2.9 倍。成绩上 base 拿 r@1 48%、r@5 77%,把混合基线的 31% 提升到 48%,也就是 m3 那 29 个点增益里的 17 个点。用三分之一的时间拿到六成增益。
有个反直觉的细节:在 38 条问句子集上,base 的 r@5 是 84%,m3 是 82%。差 1.6 个点正好是一条题,算噪声,不能据此说小模型更强。但在关键词子集上差距明显,base 67%、m3 79%,说明处理短查询时大模型的判别力更稳。
落地口径:QPS 吃紧或者跑在 CPU 上,用 base;延迟能接受 2 秒以上,用 m3。两者都比不重排强,不必纠结。
用生成模型做重排会亏
把 20 条候选编号、每条截 200 字丢给 qwen3:8b,让它输出前五的编号,结果 r@1 44%、r@5 60%,低于不重排的 68%。净值是救回 8 条、打乱 13 条。
打乱这件事可以量化:62 条里只有 1 条的输出与输入顺序完全相同,前五元素的平均位移是 5.6 位。也就是说它几乎每次都在重排,而且经常把本来对的项挪下去。单条耗时 15.6 秒,prompt 平均 2742 token,p90 到 25.6 秒。同样的活交叉编码器用 2.18 秒做得更好。
原因不复杂。生成模型的输出是自由文本,排序质量取决于它是否愿意逐条比对,而交叉编码器每一次打分都是独立的二分类判断,没有跨候选的相互干扰。要拿生成模型做重排,得改成逐条打分再排序,成本会再翻 20 倍。
截断上限调到 128 就白做了
| max_length | r@1 | r@3 | r@5 |
|---|---|---|---|
| 64 | 24% | 34% | 39% |
| 128 | 42% | 56% | 63% |
| 256 | 60% | 79% | 81% |
| 512 | 60% | 79% | 81% |
256 和 512 的成绩完全一致,128 掉到 63%,64 掉到 39%,两个档位都低于不重排的 68%。这里的 max_length 是 query 与段落拼起来的总长度,300 字的块加上标题,256 已经够用。
但这条对别的语料不一定成立。如果你的块是 800 字,或者文档是英文长段,默认的 512 会截掉一半内容,重排看着在跑其实只看了开头。上线前花十分钟扫一遍自己语料里块长的 p90,比抄别人的参数靠谱。
三处踩坑
第一个坑是在纯向量候选集上重排。表现是加了重排反而更差,很容易被误判成模型不行。判断方法是先算候选集 r@20,低于 80% 就别上重排,先把 BM25 融合接进来。
第二个坑是调小 max_length 想省时间。省下的是零点几秒,丢的是十几个点,而且不报错,指标看着还挺像回事。判断方法是拿同一批查询跑两档截断,看 r@5 的差距,超过 5 个点就说明块被截断了。
第三个坑是拿生成模型当重排器。它会打乱已经正确的顺序,日志里也看不出来,只能靠与基线对比。判断方法是统计输出顺序与输入顺序的一致率,低于三成就要怀疑它在瞎排。
顺带说一句测重排最容易忽略的前提:候选里的块必须是完整语义单元。本轮有 1 条查询重排后第一名落在同篇文章的相邻块上,答案句被 300 字切分切断,这种错与重排无关,改切分才有用。
落地参数
最小可用组合长这样,检索 20 条、重排取前五,模型用 sentence-transformers 直接加载:
from sentence_transformers import CrossEncoder
ce = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512, device="mps")
ids = hybrid_top20(query) # 向量 + BM25 的 RRF 结果
texts = [title[i] + "\n" + chunk[i] for i in ids]
scores = ce.predict([(query, t) for t in texts], batch_size=20)
reranked = [ids[j] for j in scores.argsort()[::-1]]
服务化时注意两点:模型常驻内存 2.3GB,MPS 上首次加载 14 秒,别放在冷启动路径里;20 条候选一次性批量打分比逐条快三倍左右,batch_size 给 20 刚好。想再压延迟,把候选砍到 10 条,r@1 会掉 4 个点左右,这个代价通常比换小模型划算。
常见问题
候选给 20 条还是 50 条?20 条够了。混合 top-20 的天花板是 87%,top-50 只到 89%,多给 30 条只多 2 个点,重排耗时却翻 2.5 倍。除非你的场景对 top-5 特别敏感,否则 20 条是性价比最优。
中文用哪个重排模型?bge-reranker-v2-m3 是当前稳妥选择,2.3GB,M4 上 20 条 2.2 秒,r@1 60%。预算紧或者要跑 CPU,用 bge-reranker-base,1.1GB、0.76 秒,r@1 48%,已经比不重排高 17 个点。
重排能不能替代换更大的嵌入模型?本轮没测换嵌入模型,只能给判断路径:纯向量候选集的天花板是 61%,混合是 87%,先把召回结构补好再谈模型大小。如果 r@20 已经 90% 以上而 r@1 很低,那才是重排的活。
延伸阅读
- 本地向量库怎么选:9000 条实测,延迟差 9 倍20 小时前
- 硅基流动完成 B+ 轮二期与 C 轮融资:2026 年累计近 29 亿元,冲刺港交所 18C 上市2 月前
- Cohere 发 Rerank 5:BRIGHT 82.2 分 上下文聚焦4 周前
- MLX 微调 0.6B 只花 105 秒:JSON 准确率从 0 到全对4 天前
继续读
往下这几篇值得接着看:
- 中文 OCR 怎么选:RapidOCR 与 Tesseract 十二图实测2026-11-17
- 本地向量库怎么选:9000 条实测,延迟差 9 倍2026-11-17
- RAG 切分怎么设:200 到 1600 字实测召回差一倍2026-11-16
