9000 条向量、1024 维、单机 M4 的实测结论很直接:这个量级上暴力检索够用,最快 0.51 毫秒、最慢 5.73 毫秒,而一次 RAG 请求里嵌入一块文本要 71 毫秒,检索延迟压根算不上瓶颈。四库里 sqlite-vec 最省,装完 1 个包、184KB、查询峰值内存 79MB;Chroma 最重,84 个包、344MB、177MB;LanceDB 建了 IVF_PQ 索引,召回从 1.000 掉到 0.642。照最后一节的判据选,一小时能定。
测试怎么搭的,数字怎么来的
语料不造,直接取站内最近 1300 篇技术稿,去标签后 219 万字,按 300 字切块、重叠 50 字,得到 9008 块,平均 286 字。块长与重叠量的取舍在 RAG 切分实测那篇 里单独写过,这里固定一套参数,只为让四个库面对同一份数据。
嵌入走本机 Ollama 的 qwen3-embedding:0.6b,1024 维,逐块 POST /api/embed,批量 64 条,keep_alive 给到 60 分钟。9008 块共用 640.6 秒,折合 0.071 秒一块。这批向量四个库共享,所以嵌入时间不计进建库耗时,否则库与库的差异会被它淹掉。
向量先做 L2 归一化再入库,内积与余弦同序,各库度量参数的差异不会改变排序结果。查询集 40 条,全部从文章标题裁出来并去掉冒号后的副标题,不拿正文原句去搜原文,那种测法召回必然 1.0。
标准答案用 numpy 对全量向量做内积,算精确 top-10;近似库的召回就是与它重合的条数除以 10。延迟统计丢掉前 3 条当预热,报 p50 与 p95。建库时间含写盘。冷启指重新打开索引到第一条结果返回。
机器是 Apple M4 16GB,Python 3.13.12,sqlite-vec 0.1.9、chromadb 1.5.9、lancedb 0.41.0、faiss 1.16.0,全部 pip 装,没有 Docker。
9000 条时的六个硬指标
| 库 | 检索方式 | 建库耗时 | 磁盘 | p50 | p95 | 冷启 | 召回@10 |
|---|---|---|---|---|---|---|---|
| sqlite-vec | 暴力,精确 | 0.98 秒 | 36.3MB | 4.85ms | 5.01ms | 5.6ms | 1.000 |
| Chroma | HNSW,近似 | 4.86 秒 | 79.2MB | 1.42ms | 1.66ms | 3.4ms | 1.000 |
| LanceDB | 暴力,无索引 | 0.05 秒 | 39.5MB | 5.73ms | 7.07ms | 6.1ms | 1.000 |
| LanceDB + IVF_PQ | IVF_PQ,近似 | 1.46 秒 | 40.9MB | 1.90ms | 2.05ms | 3.4ms | 0.642 |
| FAISS FlatIP | 暴力,精确 | 0.00 秒 | 35.2MB | 0.51ms | 0.56ms | 3.5ms | 1.000 |
| FAISS HNSW32 | HNSW,近似 | 0.22 秒 | 37.5MB | 0.06ms | 0.09ms | 3.9ms | 0.965 |
三个读数值得单独说。sqlite-vec 的 4.85 毫秒看着最慢,但它没有索引构建这一步,插入 9008 条只花 0.98 秒,写完即可查,写多少查多少。Chroma 在 9000 条上召回做到 1.000,HNSW 参数够大之后小库几乎不漏。FAISS 的 HNSW 最快,0.06 毫秒,比同库的精确检索快 8 倍,代价是召回 0.965、过滤能力为零。
磁盘这列别横向当唯一依据:Chroma 和 LanceDB 我把正文和元数据一起存了,5.56MB 纯文本在里头,sqlite-vec 只存了向量,所以这行不是同一口径。要比就得按每千条 4MB 的向量本体算,四家都在 35 到 41MB,差距来自索引与副本。
延迟随数据量怎么长
| 库 | 1000 条 | 4000 条 | 9008 条 | 每千条增量 |
|---|---|---|---|---|
| sqlite-vec | 0.52ms | 2.03ms | 4.85ms | +0.54ms |
| LanceDB 暴力 | 1.53ms | 3.54ms | 5.73ms | +0.52ms |
| FAISS FlatIP | 0.06ms | 0.22ms | 0.51ms | +0.055ms |
| Chroma | 0.89ms | 1.27ms | 1.42ms | +0.066ms |
| FAISS HNSW32 | 0.03ms | 0.04ms | 0.06ms | +0.004ms |
暴力检索是线性的,但斜率很小。sqlite-vec 每加 1000 条涨 0.54 毫秒,LanceDB 暴力模式涨 0.52,FAISS 的 FlatIP 只涨 0.055,C 实现的差距全在这条斜率上。近似索引基本是平的,Chroma 从 1000 到 9008 只从 0.89 爬到 1.42。
把两条时间线放一起才有意义。嵌入一块 286 字文本要 71 毫秒,检索一次花 5 毫秒,后者是前者的十四分之一。所以「我的 RAG 慢」先别怪向量库,先看嵌入是不是跑在 CPU 上、是不是每次请求都把同一批文档重编一遍。真要压检索,等数据涨到十万级再说。
按这条斜率外推,sqlite-vec 到 10 万条约 55 毫秒,LanceDB 暴力到 10 万条约 57 毫秒,那时候才开始值得为召回损失换时间。这是外推,不是实测,写在这里当换库的触发线。
IVF_PQ 建完索引,召回掉到 0.642
LanceDB 默认是暴力扫,不建索引反而精确。建了 IVF_PQ 之后我在 9008 条上量到召回 0.642,4000 条上更差,0.562。
| LanceDB IVF_PQ 配置 | p50 | p95 | 召回@10 |
|---|---|---|---|
| 默认,nprobes=1 | 1.90ms | 2.52ms | 0.642 |
| nprobes=10 | 1.70ms | 1.79ms | 0.628 |
| nprobes=32 | 1.89ms | 1.99ms | 0.642 |
| nprobes=32 + refine_factor(10) | 2.42ms | 2.55ms | 0.952 |
调 nprobes 一点用没有:1、10、32 三档召回是 0.642、0.628、0.642,延迟也没变。原因是这套配置只有 16 个分区、32 个子向量,瓶颈不在分桶数量,PQ 把每个 1024 维向量压成 32 字节,量化误差在候选阶段就把正确结果挤掉了,多扫几个桶也是一样的近似结果。真正救回来的是 refine_factor(10),它拿原始向量对候选重排,召回回到 0.952,延迟从 1.90 涨到 2.42 毫秒。
结论放这儿:一万条以内别建 IVF_PQ。真建了就必须配 refine_factor,光调 nprobes 是做无用功。
元数据过滤:prefilter 写了 False 就少给结果
我拿「只搜某一篇文章的切块」当过滤条件,那篇稿在 9008 块里占 15 块,要求返回 10 条。
Chroma 的 where 字典返回 10 条,正确。LanceDB 的 where 表达式配 prefilter=True 也返回 10 条,但我把它关掉之后只回 7 条,不报错、不提示、不警告。它的执行顺序是先取 top-10 再过滤,命中不足就被吃掉。这个参数默认就是 True,手快写成 False 的人会遇到「加了过滤结果变少」的怪事。
sqlite-vec 的过滤得自己搭:vec0 虚拟表只认向量列,元数据要另建普通表再 JOIN,而且 k 的值要放大。我用 k = 40 取候选再按 post 筛,拿到整齐的 10 条;k 直接给 10 会因为先截断后过滤凑不满。
# Chroma
col.query(query_embeddings=[q], n_results=10, where={"post": 9628})
# LanceDB
tbl.search(q).where("post = 9628", prefilter=True).limit(10).to_list()
# sqlite-vec:先放大 k,再 JOIN 过滤
sql = ("SELECT v.id FROM vec v JOIN meta m ON m.id = v.id "
"WHERE v.embedding MATCH ? AND k = 40 AND m.post = ? "
"ORDER BY v.distance")
db.execute(sql, (vec_f32(q), 9628))
FAISS 完全不管过滤,索引里只有向量,元数据要自己拿 id 回表;想凑够 10 条只能把 k 放大到几十再筛,或者按过滤维度切多个子索引。这一条足以让需要过滤的 RAG 项目直接排除 FAISS。
删掉 10% 数据,磁盘一点没缩
这条在运维上最容易踩。我删掉 900 条之后重新量目录。
sqlite-vec 的 .db 从 36.4MB 变成 36.4MB,跑一次 VACUUM 只掉到 36.3MB。Chroma 的目录 79.2MB 前后一模一样。LanceDB 39.5MB 也没动,而且 compact_files() 在默认安装下直接抛 ImportError,提示另外装 pylance,也就是说旧版本文件默认不回收。
三家的共同点是删除只改元数据,物理空间要额外的整理动作才回来,而整理动作本身不便宜。工程上的做法是定期全量重建:9008 条重建 sqlite-vec 只要 0.98 秒,Chroma 4.86 秒,比研究压缩参数划算得多。量级到了几十万条,重建才需要停机窗口。
装机成本:84 个包对 1 个包
我把四个库分别装进空目录,只装单个库、让依赖自己解析,量包数与体积。
| 库 | 依赖包数 | 安装体积 | import 耗时 | 查询峰值内存 |
|---|---|---|---|---|
| sqlite-vec | 1 | 184KB | 0.119 秒 | 79MB |
| faiss-cpu | 3 | 41MB | 0.192 秒 | 158MB |
| lancedb | 16 | 328MB | 0.821 秒 | 304MB |
| chromadb | 84 | 344MB | 0.859 秒 | 177MB |
chromadb 拉 84 个包、344MB,大头是 onnxruntime 与一批服务端组件;lancedb 16 个包 328MB,pylance 占绝大部分;faiss-cpu 3 个包 41MB。sqlite-vec 只有 1 个包 184KB,因为它就是一个 SQLite 扩展的二进制。
import 耗时顺着这条线走:sqlite-vec 0.119 秒,faiss 0.192 秒,lancedb 0.821 秒,chromadb 0.859 秒。放进容器或 Serverless 里,0.7 秒的差距就是冷启动的差距,这种场景下它比查询延迟重要得多。
峰值内存差得更明显:sqlite-vec 79MB,FAISS FlatIP 158MB(全量向量常驻内存),Chroma 177MB,LanceDB 304MB。同一条 9008 条的库,最省和最费差 3.8 倍。
三个会卡住人的坑
第一个,sqlite-vec 直接 sqlite_vec.load(db) 会报 OperationalError: not authorized。Python 的 sqlite3 默认不允许加载扩展,必须先 db.enable_load_extension(True),加载完再关掉。这条报错里没有出现过 extension 这个词,第一次遇到很容易往权限或路径上想。
第二个,Chroma 的集合名至少 3 个字符。我图省事写了 t,收到的是 Validation error: name: Expected a name containing 3-512 characters,而且它发生在建库阶段而不是写入阶段,日志里看着像连接失败。
第三个,LanceDB 的 compact_files() 依赖 pylance,pip install lancedb 不一定带上。报错只有一句 ImportError,没有版本提示,删了数据又不 compact,磁盘就一直涨。
还有一条不算坑但容易误判:冷启那栏的 3 到 6 毫秒是在同一台机器、页缓存已热的前提下测的。真正第一次从磁盘加载,LanceDB 和 Chroma 会慢一个数量级,别拿这个数去估容器启动。
选型结论
单机、十万条以内、想少装东西:sqlite-vec。一个 .db 文件能直接带走,和业务表同库 JOIN,查询 5 毫秒,内存 79MB。它没有 ANN,靠暴力扫,这个量级上根本不是问题。
要按分类、时间、来源过滤,还要边写边查:Chroma。where 语法最省事,小库召回给到 1.000。代价是 84 个包和 344MB,镜像会明显变厚。
要列存、要版本化、以后打算搬到对象存储:LanceDB。但别在小库上建 IVF_PQ,用默认的暴力扫反而又准又不慢。
要极致延迟、多副本服务、过滤在应用层自己写:FAISS 的 HNSW。0.06 毫秒确实是另一个档位,代价是 0.965 的召回和零过滤能力。
最后一个判据比选库本身更值钱:把嵌入耗时和检索耗时一起量。我这次是 71 毫秒对 5 毫秒,检索只占整条链路的百分之六。这个比例下换库能省的绝对时间不到 4 毫秒,换嵌入模型能省几十毫秒。嵌入模型怎么挑,Cherry Studio 配嵌入那篇 里有 0.6b 与 8b 的单块耗时对比。上游解析还没定的,docling 与 MinerU 的实测 能省一轮试错;要把这套做成常驻服务,Xinference 部署记录 里有上下文与显存的实际账。
常见问题
9000 条以内要不要建 ANN 索引?
不用。这一档上暴力检索最慢 5.73 毫秒,近似索引最好 0.06 毫秒,差出的 5 毫秒在一次 71 毫秒的嵌入面前可以忽略。等数据涨到十万条,暴力扫描会到 50 毫秒量级,才开始值得为召回损失换时间。
sqlite-vec 和 Chroma 能直接互换吗?
不能。sqlite-vec 是 SQLite 扩展,过滤要走普通表 JOIN,还得手动放大 k;Chroma 是独立客户端,where 字典和集合管理都是现成的。迁移时最容易被忽略的是过滤语义,写法不同,返回条数也不同。
召回 0.64 在真实 RAG 里影响多大?
top-10 里平均有三到四条不是最优候选。下游接 rerank,或者把 top-k 放到 50 以上,损失能被吸收一部分;直接把 10 条拼进上下文让模型读,答案质量会明显抖。这个代价换来的延迟收益只有 3 毫秒,不值得。
延伸阅读
- Cherry Studio 知识库配嵌入:Ollama 实测与四个坑7 天前
- Ollama 显存不释放怎么修:keep_alive 四写法实测1 周前
- Colibrì 用 SSD 当显存跑 744B GLM-5.2,25GB 内存可推理2 月前
- RAG 切分怎么设:200 到 1600 字实测召回差一倍9 小时前
继续读
往下这几篇值得接着看:
- RAG 切分怎么设:200 到 1600 字实测召回差一倍2026-11-16
- Xinference 4.2 部署实测:默认单请求只有 5120 token2026-11-16
- Kimi K3 本地怎么跑:8GB 内存装下 2.78 万亿参数的纯 CPU 方案2026-11-16
