bge-m3 与 qwen3-embedding 中文实测:块长一换排序反转

一句话结论:三个能读中文的开源嵌入模型,在同一批 40 道操作型问题上分不出高下,首位命中率只差 4 到 10 个点。把块长从 300 字换到 800 字,排序立刻反转:qwen3-embedding:0.6b 涨 25 个点,bge-large-zh-v1.5 掉 5 个点。所以先定块长再选模型,块长超过 512 token 就直接排除 bge-large-zh。整套测试在 M4 16GB 上跑完,三个模型重嵌一遍不到十分钟。

测试怎么搭:3032 个块,40 道有唯一答案的题

语料直接取站内 300 篇技术稿,去掉标签后 79.7 万字,硬切 300 字、重叠 50 字,得到 3032 块。选自己的稿子有两个好处:内容全是中文技术细节,跟真实知识库最像;答案我全都知道,不用花钱买标注。

40 道题全部是操作型提问,答案能落到具体某一块。写法分两类,一类直接甩报错原文,比如 mineru 解析报 quality_tier_unavailable 怎么查;另一类是症状描述,比如 kokoro 长段落只读出前面一小段。金标块用关键词在被测文章里定位,平均每题命中 4.65 个块,这是切块重叠 50 字造成的,同一句会同时落在相邻两块里。

命中判定用严格口径:金标块本身进 top-k 才算命中。不用「同文章任意一块命中」这种宽口径,那种算法里块越大越占便宜,结论会整个反过来。

环境是 M4 16GB。bge-m3 和 bge-large-zh-v1.5 走 transformers 5.22 加 MPS,文本取 CLS 位再归一化,批量 16。qwen3-embedding:0.6b 走 Ollama 0.40.14 的 /api/embed,批量 16,模型自带 Q8_0 量化。

300 字块上的成绩:三个模型挤在一起

模型 参数 体积 维度 上下文 每块耗时 首位命中率 前三命中率 前五命中率 MRR
bge-large-zh-v1.5 326M 1.21GB 1024 512 65ms 0.600 0.850 0.875 0.737
bge-m3 568M 2.10GB 1024 8192 51ms 0.525 0.775 0.800 0.673
qwen3-embedding:0.6b 596M 1.24GB 1024 32768 70ms 0.500 0.725 0.850 0.630

三个模型都是 1024 维,都能在 M4 上跑,装完一共占 4.5GB 磁盘。成绩最靠前的是 bge-large-zh-v1.5,首位命中率达到 0.600,也就是 40 道题里有 24 道一次命中。它也是三个里上下文最短的,只有 512 token。

这里要提醒一句:40 道题里差 4 个点就是 1.6 道题。bge-large 比 qwen3 高出的这 10 个点,换算过来只有 4 道题的差别,落在噪声范围内。

这点差距确实在误差里,别拿它当结论

我做了配对 bootstrap,5000 次重采样,看首位命中率差值的分布。bge-large 减 bge-m3 是加 7.5 个点,95% 区间从负 7.5 到正 22.5。bge-large 减 qwen3 是加 10 个点,区间从负 2.5 到正 22.5。bge-m3 减 qwen3 加 2.5 个点,区间从负 10 到正 15。三条区间全部跨过 0。

意思是这三个模型在 300 字块上没有可辨别的强弱。网上那种「某模型高出 3 个百分点」的对比,在这种题量下等于没测。想把 5 个点的差异测实,题量得爬到 300 道以上。

还有个反直觉的现象:qwen3 的 top1 平均余弦是 0.718,比 bge-large 的 0.679 更高,排序准确率却更低。余弦绝对值不能跨模型比,每个模型的相似度分布刻度都不一样,只有同一个模型内部的排名有意义。拿 0.7 当「很相关」的门槛,换模型之后这个门槛直接失效。

块长换到 800 字,排序第一次反转

把块长改成 800 字、重叠 80 字,同一份语料变成 1286 块,题还是那 40 道,金标按同样的关键词重新定位。结果三家的名次直接换了位置。

模型 300 字块首位 800 字块首位 变化 800 字块超 512 token 的比例
bge-large-zh-v1.5 0.600 0.550 减 5 个点 58.2%
bge-m3 0.525 0.700 加 17.5 个点 7.3%
qwen3-embedding:0.6b 0.500 0.750 加 25 个点 不适用(32k 上下文)

块变大通常该带来提升,因为一块里装的信息更多,答案更可能落在同一块内。bge-m3 和 qwen3 都吃到了这个红利,qwen3 从 0.500 涨到 0.750,配对区间是从加 10 到加 40 个点,显著。bge-large 反而掉了 5 个点,区间从负 22.5 到正 12.5,等于没动。

原因就在最后那一列。800 字块用 bge-large 的分词器数下来平均 439 token,1286 块里有 748 块超过 512 token,占 58.2%。这些块的尾巴全部被切掉,答案落在后半段就永远召不回来。bge-m3 的分词更省,同样的 800 字平均 349 token,只有 7.3% 的块越线,而且它的上限是 8192。

在 800 字块这项上,qwen3 比 bge-large 高 20 个点,配对区间从加 2.5 到加 37.5,这次是显著差异。块长一旦过了 512 token,bge-large-zh 基本可以出局。

三个静默失败,都不报错

失败一:512 token 硬切,尾巴直接丢

bge-large-zh-v1.5 的上下文是 512 token,超了之后 transformers 不抛异常、不打印警告,直接截断。我在 800 字块上跑的时候,tokenizer 数出来的最大值正好卡在 512,一字节都不多,这就是被切干净的标志。判断方法只有一条,拿模型自己的 tokenizer 数一遍每块长度,看最大值是不是恰好等于上限。

更麻烦的是它错得很安静。检索会返回结果,只是永远缺那段被切掉的内容。要不是我把块长从 300 换到 800 做对照,这个坑会一直藏着。

失败二:Ollama 的嵌入端点在 4095 token 上截断

qwen3-embedding 的模型卡写 32768 上下文,但走 Ollama 的 /api/embed 时并不给满。我拿同一段文字做四档测试,6000 字返回 prompt_eval_count 3253,9000 字和 14000 字都返回 4095,一模一样。4095 就是这条端点的天花板,折成汉字大约 7500 字。

判断依据只看返回体里的 prompt_eval_count 字段,不能看输入字数。不同模型的分词比不一样,同一段中文在 bge-large 上是 296 token 的块,在 qwen3 上可能只有 240。

失败三:换了模型还留着旧索引

维度不同会直接报错,这条还算好认。我在 sqlite-vec 里建 1024 维的表,塞一个 768 维向量进去,报错原文是 Dimension mismatch for inserted vector for the embedding column. Expected 1024 dimensions but received 768.

同维度换模型才是真陷阱。三个模型都是 1024 维,换过去不报错,查询照常返回结果。我拿 bge-large 的查询向量去查 bge-m3 的索引,top1 平均余弦只有 0.089;用它查自己建的索引是 0.679。0.089 这个数意味着检索等同于随机,但接口不会告诉你任何事。

前缀和标题前置,实测都在噪声内

bge 官方文档要求短查询加上一句指令前缀,qwen3 官方也要求 Instruct 格式。我把两件事都实测了一遍,结果都不支持这些建议。

改动 基线 首位命中率 改后 首位命中率 MRR 变化
bge-large 查询加官方指令前缀 0.600 0.591 0.737 到 0.737
qwen3 查询加 Instruct 格式 0.500 0.500 0.630 到 0.651
每块开头拼上文章标题 0.600 0.575 0.737 到 0.727

三处改动全在 1 道题以内,都属于噪声。qwen3 那行看着 MRR 涨了 2 个点,换成人话是排名整体往前挪了一点,但 top1 命中数一个没变。

我的建议是别在这上面折腾。真按官方模板加上前缀,唯一确定的收益是查询文本变长,多花 token。把这些时间用来把块长和重叠调对,收益大得多。

装法:两个走 transformers,一个走 Ollama

bge 两个模型从魔搭下,实测十二到三十几 MB 每秒,两三分钟就完。

python3 -m pip install modelscope transformers torch
python3 -c "from modelscope import snapshot_download; snapshot_download('BAAI/bge-m3', cache_dir='./models')"

加载和池化的关键只有两行,取 CLS 位再归一化。池化抄错不会报错,向量会直接变成不能用的东西。

o = model(**batch).last_hidden_state[:, 0]
o = torch.nn.functional.normalize(o, p=2, dim=1)

qwen3 走 Ollama,一条命令拉下来,接口跟其他嵌入模型一致。

ollama pull qwen3-embedding:0.6b
curl -s http://127.0.0.1:11434/api/embed -d '{"model":"qwen3-embedding:0.6b","input":["要嵌入的文本"]}'

三个模型的装法加起来不到 50 行代码,成本主要在两件事上:下载 4.5GB 权重,和重新嵌一遍语料。

选型结论:先看块长,再看模型

场景 选谁 依据
块长在 512 token 内,追求 top1 bge-large-zh-v1.5 首位命中率 0.600,1.21GB,每块 65ms
块长超过 512 token bge-m3 或 qwen3-embedding 800 字块上 0.700 与 0.750,bge-large 只有 0.550
只想少装东西,走 Ollama qwen3-embedding:0.6b 显存 1.24GB,Q8_0 量化,接口最简单
整篇长文档一次嵌入 qwen3-embedding 32768 上限,但 Ollama 端点只给 4095

重建成本要提前算进方案。3032 块、每块 65ms,一次全量重嵌约 3.3 分钟;换成 10 万块的知识库,同样机器要 1.8 小时,而且是单进程串行。所以换模型这件事,最好在库还小的时候定下来。

如果你的库已经跑起来了,换模型那天要按新库处理:建影子表、双写一段时间、比对两边 top10 的重合度,重合度过线再切流量。直接原地换向量,接口不会报错,用户会先发现搜不到了。

常见问题

bge-m3 和 qwen3-embedding 到底哪个强?

块长决定答案。300 字块上这三个模型差 4 到 10 个点,配对区间跨 0,等于分不出。800 字块上 qwen3 到 0.750、bge-m3 到 0.700,差距才显出来。先量一下你自己库里的块平均有多少 token,再对表选。

换了嵌入模型,旧索引改一改还能用吗?

不能,同维度也不行。维度不一致会报维度错,维度一致会静默失效:bge-large 的查询向量查 bge-m3 的索引,top1 平均余弦 0.089,跟随机没区别。换模型必须整库重嵌。

Ollama 跑嵌入有长度上限吗?

有,4095 token,超过直接截断且不报错。判断方法看返回体里的 prompt_eval_count,9000 字和 14000 字都返回 4095 就是撞上了。折成中文约 7500 字,块比这长就要换 transformers 或直接调大上下文。

相关阅读

块长到底设多少,另一组实测在 RAG 切分怎么设 里把 200 到 1600 字扫了一遍,结论与本文的块长反转可以互相印证。挡住召回之后往上补一层排序,重排加不加 在同一批站内语料上测了八条路线,第一名能从三成抬到六成。向量最终要落进哪个库,本地向量库怎么选 给了三个库在九千条量级上的延迟。多模态嵌入那条线可以看 EmbeddingGemma 2 的技术报告,744M 参数怎么分给文本、图像和音频都写在里面。

全部文章归档与模型专题