Keln 基准:缓存命中 93.9%,四家网关跑 3360 轮

10 月 25 日在 Hacker News 引发讨论的一份 AI 网关对比基准给出了四家网关的实测数据。Keln 团队用 DeepSeek V4.1 Flash 跑了 24 小时的真实智能体会话,总计 13440 轮,每个网关分到 3360 轮,四个网关在同一时刻收到同一轮请求,每 20 轮里还会有 1 轮暂停 1 到 20 分钟,模拟真实用户的中断。参与对比的是 Keln、OpenRouter、Vercel 和 Ramp。

缓存命中率与换供应商次数

缓存命中率的口径是整个会话里被缓存命中的提示词 token 占比。Keln 拿到 93.9%,OpenRouter 88.5%,Vercel 86.7%,Ramp 62.6%。差距的来源是各家的路由策略不同,Keln 会把一段对话留在持有其前缀的供应商上,Vercel 会把对话钉在首个供应商 5 分钟,而 OpenRouter 和 Ramp 每次请求都重新选。

换供应商的次数同样拉开了量级。3360 轮里 Keln 换了 14 次,Vercel 60 次,OpenRouter 148 次,Ramp 500 次。暂停时长的影响也测了出来,暂停 10 分钟后,Keln 仍能从缓存里提供 75% 的下一轮提示词,OpenRouter 是 52%,Vercel 25%,Ramp 23%。

推理量与账单

每轮平均推理 token 分别是 Keln 856、OpenRouter 1033、Vercel 403、Ramp 420。同样的 3360 轮,总账单从 Vercel 的 9.14 美元到 Ramp 的 20.20 美元不等,OpenRouter 10.98 美元,Keln 11.26 美元。Vercel 账单最低的原因并非单价,而是它实际跑的推理量更少。

推理量被截断这件事最值得警惕。在请求要求最高推理强度时,Vercel 和 Ramp 送回来的推理量不到 Keln 的一半,账单相应更低,但响应看起来是成功的,错误会在更难的一轮才暴露,而那一轮的日志显示请求完全正常,网关自然不会被怀疑。底层模型与供应商其实是重叠的,推理量本该在噪声范围内对齐。

基准用了什么模型

这次跑的是 DeepSeek V4.1 Flash,DeepSeek V4.1 Flash 因果编码器解码器架构解析 那篇深度文里拆过这套编码器与解码器的结构。当网关差异能在同一个模型上被量化出来,路由层的选型才第一次有了可比的参照系。