结论先给:RAG 切分从 200 字起步是错的。同一份 60176 字语料、26 个问题,200 字一档的 top5 只命中 53.8%,其中 3 个问题的答案句在索引里根本不存在,因为它们被切成了两半。换成 1200 字按句切,命中率到 96.2%,代价是每轮多灌 4900 字上下文。整套对比在一台 M4 上八分钟跑完,下面给全部数字、脚本和三个会静默生效的默认值。
实测方法:26 个问题,答案句在全语料只出现一次
语料取本站十篇技术稿的正文,去掉 HTML 标签后合计 60176 字符,最长一篇 7569 字,最短 4604 字。这类文本有个好处,段落短、数字密、事实唯一,适合做检索打分。
问题集 26 条,每条对应一句答案。答案句必须满足一个条件:在全部六万字里只出现一次。脚本先跑断言,不满足的题直接作废,这一轮 26 条全部通过。
嵌入走本机 Ollama 的 qwen3-embedding:0.6b,维度 1024,接口 /api/embed,向量做归一化后算余弦,检索用暴力全扫,不用近似索引。命中定义很严:答案句必须完整落在被检索到的那一块里,跨块切断不算命中。
打分只用一个入口,改配置只改一行。cut_fixed 是常见的定长硬切,cut_struct 先按段落和句末标点切,再按块长合并。两者都按单篇文档切,不允许跨文档拼块。
CHUNKS = [
("hard", 200, 0.0), ("hard", 200, 0.2), ("hard", 400, 0.0), ("hard", 400, 0.2),
("hard", 800, 0.0), ("hard", 800, 0.2), ("hard", 1200, 0.0), ("hard", 1200, 0.2),
("hard", 1600, 0.0), ("hard", 1600, 0.2),
("struct", 400, 0.0), ("struct", 800, 0.2), ("struct", 1200, 0.0),
]
def cut_fixed(text, size, overlap):
step = max(1, size - int(size * overlap))
out = []
for i in range(0, len(text), step):
chunk = text[i:i + size]
if len(chunk) >= 40:
out.append(chunk)
if i + size >= len(text):
break
return out
def embed(texts):
vecs = []
for i in range(0, len(texts), 16):
body = json.dumps({"model": "qwen3-embedding:0.6b",
"input": texts[i:i + 16]}).encode()
req = urllib.request.Request("http://127.0.0.1:11434/api/embed",
data=body,
headers={"Content-Type": "application/json"})
vecs += json.loads(urllib.request.urlopen(req, timeout=300).read())["embeddings"]
return vecs
十三组参数的结果
表里 r@1 到 r@5 是 top1、top3、top5 命中率,MRR 是命中位置的倒数均值,切断 是答案句在索引里不存在的题数,并列 是 top1 与 top2 分差小于 0.005 的题数,灌入 是 top5 拼起来的总字数。
| 切法 | 块长 | 重叠 | 块数 | 均长 | r@1 | r@5 | MRR | 切断 | 并列 | 灌入字数 | 索引 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 硬切 | 200 | 0 | 305 | 197 | 0.231 | 0.538 | 0.354 | 3 | 8 | 976 | 1220 KB |
| 硬切 | 200 | 两成 | 379 | 198 | 0.038 | 0.538 | 0.256 | 1 | 6 | 981 | 1516 KB |
| 硬切 | 400 | 0 | 156 | 386 | 0.231 | 0.654 | 0.386 | 1 | 4 | 1938 | 624 KB |
| 硬切 | 400 | 两成 | 190 | 393 | 0.346 | 0.692 | 0.498 | 0 | 3 | 1940 | 760 KB |
| 硬切 | 800 | 0 | 80 | 752 | 0.308 | 0.885 | 0.524 | 0 | 0 | 3790 | 320 KB |
| 硬切 | 800 | 两成 | 97 | 764 | 0.462 | 0.846 | 0.623 | 0 | 2 | 3798 | 388 KB |
| 硬切 | 1200 | 0 | 57 | 1056 | 0.462 | 0.962 | 0.668 | 0 | 3 | 5579 | 228 KB |
| 硬切 | 1200 | 两成 | 66 | 1115 | 0.577 | 0.962 | 0.721 | 0 | 0 | 5690 | 264 KB |
| 硬切 | 1600 | 0 | 41 | 1468 | 0.615 | 1.000 | 0.756 | 0 | 0 | 7634 | 164 KB |
| 硬切 | 1600 | 两成 | 49 | 1483 | 0.500 | 0.923 | 0.689 | 0 | 1 | 7450 | 196 KB |
| 按句切 | 400 | 0 | 141 | 427 | 0.346 | 0.692 | 0.474 | 0 | 2 | 2203 | 564 KB |
| 按句切 | 800 | 两成 | 76 | 931 | 0.423 | 0.885 | 0.597 | 0 | 3 | 4759 | 304 KB |
| 按句切 | 1200 | 0 | 53 | 1135 | 0.654 | 0.962 | 0.764 | 0 | 0 | 5878 | 212 KB |
两条趋势是稳的。块越长,top5 命中率越高,200 到 1600 一路从 0.538 涨到 1.000,top1 命中率也从 0.231 涨到 0.615。同时灌进去的字数从 976 涨到 7634,接近八倍。索引体积和查询延迟反向下降,但两者都小到不构成选型理由,这一点后面单独算。
单点差异不要当结论。26 个问题里一个题就是 3.8 个百分点,表里 0.308 与 0.346 之间的差属于噪声。能拿出去用的是趋势和那个明显离群的格子。
200 字这一档的问题不在召回,在排名
硬切 200 字、零重叠,有三个问题的答案句被切断,索引里找不到完整句,命中率的上限从 100% 掉到 88.5%。风险来自切分步进本身,每 200 字就有一次断点,句子平均 40 字,撞上的概率不低。
加了重叠之后切断数降到 1,可 top1 命中率反而从 0.231 崩到 0.038,top5 一个字没变,还是 0.538。这个组合很说明问题:答案没丢,排名没了。
原因在近似重复块。200 字块配两成重叠,步进是 160,相邻两块共享 160 字,占八成内容。抽一个真实例子,三个块的相似度是 0.7516、0.7516、0.7509,前两个小数点后四位相同,含答案句的那块排第二。这种分差靠浮点尾数和下标顺序决定,等于随机。
同一份数据里还有一条佐证,200 字档有 8 个问题出现 top1 与 top2 分差小于 0.005,占三成,是所有配置里最高的。块长到 800 字以上,并列数直接归零。
所以 200 字起步的真实代价是排名由噪声决定。检索还在工作,只是你不知道它下一轮给你的会不会是隔壁那块。
重叠唯一的作用是防止答案被切断
400 字这一档把重叠的影响摊得最清楚。零重叠时 1 个问题不可达,top1 命中 0.231,MRR 0.386。加到两成重叠,不可达变 0,top1 到 0.346,MRR 到 0.498,top5 从 0.654 升到 0.692。块数只从 156 涨到 190。
同样的动作放到 1600 字档就反了。零重叠时 top5 是 1.000,加两成重叠掉到 0.923,MRR 从 0.756 掉到 0.689。块数从 41 涨到 49,多了两成冗余,答案本来就整块在里面,重叠只带来重复候选。
可以把重叠理解成保险,保的是句子被切断这件事。块长 400 时断点密,保险有用。块长 1200 以上,断点本来就稀,保险变成额外成本。
一个实操口径:块长 400 或更小,重叠给两成;块长 800 到 1200,重叠给一成或者干脆给零;块长超过 1500,重叠没有必要。
按句切没有赢,这条推翻了我自己的假设
我原本的判断是先把切分单位修好,收益会比调块长大。实测不支持这个判断。
400 字档,按句切零重叠的 top5 是 0.692,和硬切加两成重叠完全一样,top1 也都是 0.346。800 字档,按句切加两成重叠是 0.885,硬切同样参数是 0.846,但硬切掉重叠那段是 0.885,三者基本在噪声里。
全表最好的一格是按句切 1200 字零重叠:top1 命中 0.654,top5 0.962,MRR 0.764,灌入 5878 字。它比硬切 1600 字零重叠的 top1 高 0.039,灌入字数和索引都少三成。
结论是切分单位决定的是句子会不会被切成两半,而块长决定的是排名。两件事都重要,但如果只能调一个,调块长。硬切加适当重叠能达到的 top5,按句切基本也能达到,代价只多几个块。
这一点对线上系统有实际意义。改切分器要重写解析流程,改块长只是改一个整数。
成本账:索引和延迟不用管,上下文才是预算
十三组配置的索引从 164 KB 到 1516 KB,全是 1024 维 float32,不到两兆。查询延迟中位数 1.0 到 7.8 毫秒,慢的那档是 305 个块配 379 个块,暴力全扫。这两项在任何一台机器上都不是瓶颈,所以不需要为了省内存去用小块,也不用上近似索引。
真正花钱的是灌进模型的上下文。200 字档 top5 拼起来 976 字,1600 字档 7634 字,差了七点八倍。中文的换算比可以实测,同一段文本送进 /api/embed,返回的 prompt_eval_count 就是 token 数:1200 字块 617 token,1600 字块 801 token,3000 字 1386 token。折算下来 1200 字以上的中文块,一个 token 约等于两个字。
按这个比值算,按句切 1200 字那档的 top5 是 5878 字,约 3014 token。1600 字硬切那档 7634 字,约 3915 token。放在 8192 的窗口里,前者占三成七,后者占近一半,还没算系统提示、对话历史和你自己的问题。
反过来推一个实用公式:可用上下文预算除以 2,得到能塞的字数,再除以 5,就是能用的块长上限。8192 的预算留给检索 3000 字,块长就在 1200 上下。32768 的窗口可以开到 2500 字块,但那样 top5 的块长分布会很不均,需要另测。
踩坑:LangChain 默认参数在中文上有三处偏差
上面用的是手写切分,线上多数人直接用 LangChain。我用 langchain-text-splitters 1.1.3 在同一份语料上跑了一遍,三个默认值和网上教程写的不一样。
第一处,默认块长已经是 4000,不是 1000。构造一个不带参数的 RecursiveCharacterTextSplitter 并打印内部字段,_chunk_size 是 4000,_chunk_overlap 是 200。把十篇稿子喂进去,切出 20 个块,平均 3080 字。也就是说你照抄教程以为自己拿到 1000 字的块,实际拿到的是四倍大小,top5 会灌进一万五千字。
第二处,默认分隔符是英文思路。['\n\n', '\n', ' ', ''] 里没有中文句号,递归切分器只在上一级片段超长时才降级,所以段落短的中文文档永远走不到字符级,句号加不加都没区别。实测显式传 1000/200,加中文句号和不加,块数都是 78,均长都是 872,块尾不是句末标点的占 35.9%。
第三处,也是最隐蔽的一处,keep_separator 在 1.x 上默认是 True,效果等于把分隔符挂到下一块的开头。打印块首字符就能看到,第二块以句号开头,第三块也以句号开头。喂给模型时每块都是半句起头,模型得先补上下文再回答。改成 keep_separator='end' 后块尾恢复成完整句子。
把这三条一起修,中文切分才算正常:显式给 chunk_size,显式给中文分隔符(段落长的时候有用),keep_separator 设 end。三行改动,比换切分器便宜得多。
在自己项目上复现这套打分
要复现只需要改三个地方。语料换成你自己的文档,问题换成你真实用户会问的句子,配置列表按表里挑几档。评分口径保持不变:答案句完整出现在某块里才算命中。
语料准备有个细节,站内文章可以从 REST 接口直接取,去掉标签后按段落保留换行,不要把所有换行压成一个,否则切分器会退化成字符级。解析这一侧的做法可以看 docling 与 MinerU 的对比,两种工具输出的换行密度差很多,直接影响切分质量。
问题集不用多,二十条就够看出趋势,一条题的权重是 5 个百分点,所以判读时只看趋势和离群点。嵌入模型换一个,绝对值会变,但块长与重叠的相对关系基本保持,这一点在 嵌入模型的显存与维度实测 里也能看到同类现象。
如果检索出来的段落对但模型答得不对,先怀疑上下文额度。本地模型默认能吃多少 token 是另一件事,可以对照 上下文实际可用 token 的实测;如果文档是扫描件,切分前先过一遍 OCR,三档解析速度差七倍,选错档位会让整条流水线变慢。
常见问题
块长和重叠先调哪一个?
先调块长。本轮数据里块长从 200 到 1600 让 top5 命中率翻了近一倍,重叠只在块长 400 以下有明显作用,收益上限是把不可达从 1 个降到 0。先定块长,再看有没有答案被切断,有再加重叠。
中文必须按句切吗?
不必须。按句切 400 字的 top5 是 0.692,硬切 400 字加两成重叠也是 0.692,两者打平。真正必须做的是把 keep_separator 设成 end,否则句号会跑到下一块开头,每块都是半句起头。用不用句号做分隔符,取决于你的段落有没有超过块长。
块开到 1600 字是不是更好?
top5 能到 1.000,top1 也最高,但 top5 会灌进 7634 字,约 3915 token,八 K 窗口一半没了。如果模型窗口在 32768 以上、且一次只问一个问题,1600 可以用。窗口小或者要带对话历史,1200 是更稳的点。
延伸阅读
- Ollama 显存不释放怎么修:keep_alive 四写法实测1 周前
- whisper.cpp 中文转写实测:五档模型怎么选5 天前
- Qwen-Image 与 FLUX 显存对比:22GB 卡跑 1024 实测1 周前
- Ollama 模型占 C 盘:移到 D 盘实测与四个坑7 天前
继续读
往下这几篇值得接着看:
- Xinference 4.2 部署实测:默认单请求只有 5120 token2026-11-16
- Kimi K3 本地怎么跑:8GB 内存装下 2.78 万亿参数的纯 CPU 方案2026-11-16
- Memorilla 记忆压缩怎么用:16 个 token 装下整本文档2026-11-16
