RAG 查询改写实测:拼实体词赢过 HyDE,贵十倍反而更差

一句话结论:查询改写排最后做。62 条查询、9008 个块上跑下来,最划算的改法是把抽出来的实体词拼在原始查询后面,首位命中从 17.7% 到 22.6%,多花 0.68 秒;HyDE 贵十倍,首位只涨 3.3 个点,前五还从 46.8% 掉到 38.7%。

测试怎么搭的

语料是本站 1300 篇技术稿,去掉标签后 257 万字,按 300 字一刀、重叠 50 字切成 9008 个块。查询集 62 条,分两类。38 条问题型,由模型从原文答案句改写成搜索框里会输入的话,限制不许照抄原句 9 个字以上。24 条关键词型,从答案句里抽三个实体词,模拟直接搜产品名或参数名的人。

金标是答案句所在的那一块,而且要求答案句完整落在返回块里才算命中。这个口径比按文章 ID 判命中严得多,块级判宽了会让所有方案一起虚高,比不出差别。

向量用 qwen3-embedding:0.6b,1024 维,9008 个块一次暴力内积 0.53 毫秒。生成侧用本机 qwen3:8b,关掉思考,温度 0.3。四种改写只动查询文本,语料、块长、嵌入模型、评分脚本全程不变,保证单变量。

curl -s http://127.0.0.1:11434/api/embed -H 'Content-Type: application/json' \
  -d '{"model":"qwen3-embedding:0.6b","input":["RAG 召回率低怎么改"]}'

五条改写的提示词,可以直接抄

HyDE 让模型先编一段答案,再拿答案去检索:

/no_think 你是技术文档作者。针对下面的问题写一段 120 到 180 字的中文答案草稿,要像正式文章里的一个段落,可以带具体数字与参数名。不要回答我不知道,不要分点,只输出段落本身。
问题:{query}

多查询让模型换三种说法,再用 RRF 融合:

/no_think 把下面的检索问题改写成 3 个不同说法的查询,覆盖不同用词习惯。每行一条,不要编号,不要解释。
问题:{query}

抽词只保留实体,丢掉疑问结构:

/no_think 从下面的检索问题里抽出最能定位答案的 4 个实体词或短语,用空格连接成一行输出。
问题:{query}

陈述句改写把问句拍平:

/no_think 把下面的问题改写成一句陈述句,不超过 30 字,保留专有名词和数字。只输出那一句。
问题:{query}

第五条不改动原查询,只是把原始查询和抽出来的四个词用空格拼起来再嵌入。这一步只多一次抽词,0.68 秒。

结果:最贵的那条输给最便宜的

方案 首位命中 前五命中 MRR 每查询额外耗时
原始查询 17.7% 46.8% 0.292 0(嵌入 15 毫秒)
原查询拼实体词 22.6% 48.4% 0.327 0.68 秒
陈述句改写 17.7% 45.2% 0.282 0.69 秒
抽词替换原查询 11.3% 38.7% 0.239 0.68 秒
多查询 3 路 RRF 16.1% 43.5% 0.276 2.52 秒
HyDE 单独检索 21.0% 38.7% 0.295 6.52 秒
HyDE 与原查询 RRF,k=1 19.4% 48.4% 0.313 6.52 秒
HyDE 与原查询 RRF,k=60 17.7% 46.8% 0.308 6.52 秒

拼词在三个指标上都是第一,而且一个字都没删,原始查询里的疑问词还在,只是多挂了几个高信息量的实体。HyDE 的首位比基线高 3.3 个点,前五却低 8.1 个点,两个方向都落在误差范围里,后面会说清这个量级有多脆。

多查询和抽词替换全面低于不改,陈述句改写几乎没有动静,白花 0.69 秒。HyDE 单独用不划算,融进原始查询才勉强站住,前五能抬到 48.4%,但和拼词打平时它要多花 5.84 秒。

分类型看:HyDE 在两类查询上方向相反

查询类型 条数 原始首位 拼词首位 HyDE 首位 原始前五 拼词前五 HyDE 前五
问题型 38 21.1% 28.9% 31.6% 55.3% 57.9% 47.4%
关键词型 24 12.5% 12.5% 4.2% 33.3% 33.3% 25.0%

38 条问题型上,HyDE 把 5 条从非首位送上首位,只掉 1 条。前五那头丢 5 条、捡回 2 条,净少 3 条。24 条关键词型上,首位命中从 3 条掉到 1 条,掉到三分之一。

原因在假答案的形状。模型编的段落是围绕主题展开的通顺文字,语义中心落在主题附近,所以离答案块更近,首位容易对。代价是这一段同时贴近好几个同主题的块,第 2 到第 5 名被这些邻近块挤掉。首位比的是主题,前五比的是细节。

举一条。查询是「高通目标带宽是传统 HBM 的多少倍」,原始查询把金标排在第 5,HyDE 把它推到第 8,因为假答案自己写了 2.5 倍这个数字,检索被带去另一篇讲内存带宽的稿子。关键词型更脆,查询本身就是三个实体词,假答案往里塞的每个词都在稀释它们的分量。

关键词查询被带偏的三种形态

第一种,数字切片被当成版本号。「FLUX 1024 11.7」这种查询,假答案写成 FLUX 1024 的 11.7 版本,还补了一句基于 FLUX 1024 架构,语料里没有这个型号。

第二种,编出语料里根本不存在的数字。62 条输出里有 5 条出现幽灵数字,分别是 2711、87.3、1.108、92.3、65535,拿全语料 257 万字做子串检索,全是零命中。

第三种,直接转成解释腔。「100 165 2025」的假答案开始分析这三个数字可能代表什么,整段话里没有任何定位信息,检索自然落空,金标从有到无。

用法很直接:日志里查询短、实体密集的,别走 HyDE。门槛可以量化,查询在 12 字以内、含两个以上数字或英文缩写的,归入关键词型,走拼词这条路。

踩坑一:RRF 的 k 值决定融合成败

常见框架里 RRF 默认 k=60,照抄会得出一个错误结论。k=60 时 HyDE 融合后的指标与不改完全一样,17.7 与 46.8,看上去融合毫无作用。把 k 调到 1,前五涨到 48.4,MRR 从 0.292 到 0.313。

原因是权重。k 越大,每路第一名与第一百名的分差越小,两路融合接近平权,HyDE 那一路的上位能力被原始查询拉平。k 小的时候第一名拿到的分远高于后排,谁排第一谁说了算。默认值来自通用推荐系统,语料规模和查询形态都不一样,不能直接搬。

def rrf(rank_lists, k=1):
    agg = {}
    for rl in rank_lists:
        for pos, idx in enumerate(rl[:100]):
            agg[idx] = agg.get(idx, 0) + 1.0 / (k + pos + 1)
    return sorted(agg, key=agg.get, reverse=True)

踩坑二:改写提示词自己会失控

要求写 3 条,62 条里有 5 条超量,关键词型的一条给了 45 行。取前三行能兜住,麻烦的是三行同义。「465 一两年 两组」这种查询,模型给的是 465 一到两年 两组、465 一两岁 两组、465 一两年左右 两组,字符串不同,意思一层。三路检索出来的排名几乎重合,融合等于把同一份排名数了三遍。

量化一下。把三行分别嵌入,两两余弦平均 0.908(问题型)与 0.868(关键词型),11 条问题型查询的三行相似度超过 0.95。多查询扩展的前提是多样性,这个数说明多样性没拿到。

第二种失控是语言漂移。24 条关键词查询里有 9 条写出了英文行,比如 What is the D3 Ultra Decision。语料全是中文,英文查询在中文向量空间里落点很远。判据很简单,跑完先数每行的汉字占比,低于一半的直接丢掉重写。

踩坑三:62 条查询测不出 5 个点的差

这轮结论都做了配对 bootstrap,4000 次重采样。问题型首位提升 10.5 个点,区间 0 到 23.7;关键词型首位掉 8.3 个点,区间 −20.8 到 0;拼词首位提升 4.8 个点,区间 −1.6 到 12.9。三条区间都压着 0。

按这轮实测的波动算,每条查询配对差值的标准差是 0.282,要在八成把握下测出 5 个点的差异需要 250 条查询,测 10 个点需要 62 条。网上那些写着 HyDE 提升十个点的文章,很多就是 62 条量级下的读数,方向可能对,幅度不可信。

所以本文的结论只写在方向上。HyDE 对问题型查询有正向趋势,对关键词型明确为负,拼词是不吃亏的那一个。要精确幅度,把查询集扩到 250 条以上再跑一遍,脚本不用改。

该按什么顺序改

按收益排队,改写放最后。第一优先是切分,块长从 200 字换到 1600 字,前五命中从 53.8% 到 100%,这一步动的是分母,改完再谈排序才有意义。

第二是混合检索。上一轮实测 BM25 单独就把首位从 17.7% 提到 40.3%,接上重排能到 59.7% 与 80.6%,代价 2.18 秒,比 HyDE 便宜三倍而收益是它的十倍量级。

第三才是改写,而且只做拼词这一种,只对问题型查询做。索引侧的选择没那么关键,9000 条量级暴力检索与 IVF 的差别只有几毫秒,瓶颈在嵌入不在库。嵌入模型本身要看块长定,块长一换模型排序就会反转,300 字块和 800 字块选出来的第一名不是同一个。

常见问题

HyDE 是什么,值得上吗

HyDE 是让模型先写一段假想答案,再用这段答案去检索。它适合用户输入是完整问句、语料偏口语的场景。技术文档语料上它的收益只在首位,前五会掉,要用就做低权重融合,k 取 1 到 10。

中文 RAG 里哪种改写最划算

原查询后面拼四个抽出来的实体词,一句提示词就能做,每查询多 0.68 秒,这轮三个指标都排第一。抽词替换原查询反而更差,首位 11.3% 比不改还低六个点,因为疑问结构里的限定词被一起删掉了。

怎么判断自己的库要不要做改写

先看混合检索与重排做了没有,这两步的收益是两位数。都做完还有缺口,再把查询按长度和实体密度分成问题型与关键词型,只对问题型上改写,并且必须与原始查询融合之后再排序。

全部文章归档与模型专题