Hugging Face 推理换路由商:46% 容量错误下降与自带 key 失效

结论先说:Hugging Face 把 Inference Providers 的语言模型请求整体交给了 OpenRouter 路由,官方给出的数字是容量类错误下降 46%、首字延迟改善 16.9%、吞吐量提升 16.3%。代价同样明确,自带供应商 API key 的老用法在语言模型上彻底失效,想指定某家供应商,得在模型名后面加后缀。这是一次改动而不是一次升级,迁移动作要在上线前做完。

换了什么:路由层从自研交给 OpenRouter

11 月 16 日 Hugging Face 在官方博客发布公告,说明 Inference Providers 的路由实现从自家路由器切换为 OpenRouter 的路由层。切换后,每次语言模型请求由 OpenRouter 按实时价格、速度和可靠性打分挑供应商,首家失败时在同一次调用内重试下一家,开发者侧的代码和 token 不用改。

从用量结构看,开源权重模型已经是 OpenRouter 上的主力军,这一点在OpenRouter 全球模型榜前五全是中国模型那篇里有更细的拆解。

支撑这次切换的体量不小。OpenRouter 每月处理超过 800 万亿 token,服务超过 1000 万用户,接入 80 多家供应商的 600 多个模型。这套路由建立在真实流量的持续测量结果上,不是静态策略表。

接口层面也做了统一。OpenAI 的 Chat Completions、Responses 两个接口与 Anthropic 的 Messages 接口都能直接调用,Claude Code、Codex、OpenCode、Pi、Hermes Agent 这些编码代理都有现成的接入步骤,复制配置或整段复制成提示词交给代理即可。图文与音视频生成没有走这条路径,仍由 Hugging Face 直连自己的推理后端,不经过 OpenRouter。

最关键的变化:自带 key 失效

这是公告里 breaking change 章节的内容,也是升级时最容易踩的坑。语言模型请求现在统一走 OpenRouter 并计入你的 Hugging Face 账户或组织账单,因此不能再为这些模型填入自己的第三方供应商 API key。

图像和视频供应商的自定义 key 仍然有效,这两类任务本来就不经由 OpenRouter。

替代方案有两个。一是给模型名加后缀指定供应商,例如 zai-org/GLM-5.3:novita 表示只走 Novita。二是直接在设置里关掉不想用的供应商,路由器不会再把请求发过去,组织级设置对所有计费到该组织的请求生效。

后缀怎么选:四种路由策略对照

模型名后缀是这次迁移之后最常用的控制手段,写法如下。

模型 ID 写法 实际行为 适合场景
zai-org/GLM-5.3 按价格、速度、可靠性综合最优挑一家 默认选择,通用业务直接用
zai-org/GLM-5.3:fastest 只选吞吐量最高的供应商 高并发 Agent、批量处理
zai-org/GLM-5.3:cheapest 只选价格最低的那家 离线任务、评测跑批
zai-org/GLM-5.3:novita 锁定 Novita 一家 需要缓存命中稳定,或对数据驻留有要求

这类多供应商比价的思路,和百度词元所 70 款模型比价与 12 家供应商挑法是同一套问题,只是选型平台不同。要衡量自建网关值不值,可以参考Keln 网关基准实测的缓存命中率 93.9%。

路由还带缓存感知能力,同一个会话会尽量留在持有该会话提示词缓存的供应商上。要让这个行为显式生效,可以在请求里带一个稳定的会话 UUID,放进 X-HF-Session-Id 头。命中缓存的输入 token 单价通常明显低于全价,这一条在长对话场景里的影响比换供应商本身还大。

模型页新增了 Providers 和 Metrics 两个标签页。Providers 列出可路由到的每一家,含输入输出单价、近 24 小时速度与可用率;Metrics 给出最优单价、吞吐、首字延迟、上下文长度和可用率。用量总览能按供应商拆开花费,设置页可以逐个禁用。

官方数字之外:路由到底涨没涨质量

46%、16.9%、16.3% 这组数字来自 OpenRouter 自己的测量,衡量的是容量错误、首字延迟和吞吐这类工程指标,不回答同一个模型在不同路由下输出质量会不会变。11 月 17 日社区发布的 AutoBench 路由器审计给了另一侧的答案。

OpenRouter 在 11 月 6 日上线了新一代 Auto Router,slug 不变,内部换成了成本优先的实现。同一套冻结题集上的 Delta-Hit 分数(相对基准模型多拿对的题数比例)从上一代的 79.1% 掉到 65.2%,default、low、medium 三档分别只有 58.1%、60.3%、57.9%,基本等同于随机选择。新旧两代在具体选项上重合度只有 1% 到 12%,Luna 在 high 档根本没有出现过。

路由方案 候选模型池 Delta-Hit 相对池内随机提升 每题计费
上一代 Auto Router(high) 20 79.1% +17.1 约 0.023 美元
新版 Auto Router(high) 15 65.2% +4.1 —
新版 Auto Router(default/low/medium) 15 58%–60% ≤ 0 —
Conifer 17 74.8% +14.6 约 0.0052 美元
dari(仅选择路径) 8 79.1% +5.2 约 0.022 美元
固定调用 GPT-5.6 Luna 1 85.3% — 约 0.0043 美元
AutoBench Router(Balanced) 3 87.8% 已高于固定 Sol —

这张表里最刺眼的两个数:dari 的 79.1% 看着和上一代 Auto Router 持平,但它只看到 8 个模型,在池子里随机挑已经能拿 73.9%,真实增益只有 5.2 个点,而且账单约为固定调用 Luna 的 5 倍。另一端是始终调用一个中等价位模型,85.3% 的分数配 0.0043 美元的每题成本,把好几家商业路由器都压在下面。

路由有没有用,得按题目类型分开算。省容量错误是工程收益,涨质量是另一笔账。OpenRouter 自己的表述是这次重做路由器时不再只看最低挂牌价,而是综合价格、速度、可靠性。

开源权重模型在 OpenRouter 上的占比与价差

这次公告里另一组数字更值得关注,它直接关系到用哪个模型省多少钱。OpenRouter 官方统计显示,开源权重模型占其服务 token 的比例从 2025 年 10 月的 26.8% 涨到 2026 年 9 月底的 71.7%,7 月一度峰值 77.5%。同期开源权重模型的周调用量增长超过 60 倍,闭源模型约 10 倍。本周 OpenRouter 上用量最高的是开源模型 DeepSeek V4.1 Flash 1017,单周 59.2 万亿 token。

口径 开源权重模型 闭源模型
输入价(每百万 token) 0.28 美元 1.27 美元
输出价(每百万 token) 1.62 美元 6.36 美元
最佳 Artificial Analysis 智能指数 Kimi K3.1 Pro 46 分 Claude Fable 5.2 65 分
该模型单任务成本 3.68 美元 26.54 美元

OpenRouter 的实时价格接口可以直接核对当前挂牌价。GPT-6.2 Astra 与 Claude Fable 5.2 都是输入 8 美元、输出 40 美元每百万 token,GPT-6.1 Sol 是 2 美元与 10 美元,DeepSeek V4.1 Flash 是 0.3 美元与 1.2 美元,Kimi K3.1 Pro 是 0.253 美元与 8.8 美元,GPT-5.6 Luna 则是 0.2 美元与 1.2 美元。同一套官方口径下不同代际的价差能到几十倍,选模型这件事的收益量级远大于路由策略的收益量级。DeepSeek V4.1 Flash 的 552B MoE 与 KV 缓存缩小 437 倍解释了它为什么能撑起单周 59.2 万亿 token 的调用量,而腾讯混元 Hy4 flash 的 0.5 元每百万 token也说明国产模型的价格战还在继续。

迁移清单:上线前必须改的五处

第一处,检查代码里有没有硬编码的供应商 API key。语言模型相关的自定义 key 现在会被拒绝,需要在设置里换成走 HF 计费,或者用后缀锁定一家供应商。

第二处,把散布各处的模型名统一加后缀。原样调用就是走综合最优策略,稳定性和延迟都不确定,想复现之前某家的行为就得显式写死。

第三处,确认用量归集方式。PRO 用户每月赠送 2 美元额度,Team 与 Enterprise 组织按席位每人每月 2 美元发放,通用计算额度还能用于 Inference Endpoints、升级后的 Spaces 硬件和 Jobs。调用组织计费需要明确指定组织。

第四处,会话级的请求加上 X-HF-Session-Id。长对话场景里缓存命中率的差别直接体现在账单上,这一行的成本远低于换供应商。

第五处,做一次失败路径演练。以前的模型调用失败会直接把供应商的错误抛给你,现在会在同一次调用内换一家重试。这对可用性是好事,但会改变超时和重试的观测口径,监控面板上的错误率可能一次性掉下去,需要提前跟告警规则对齐。

常见问题

我自己填的 API key 还能继续用吗?

语言模型请求不能了,这些请求统一经由 OpenRouter 并计入 Hugging Face 账户或组织账单。图像和视频供应商的自定义 key 不受影响,因为这两类任务不经过 OpenRouter。

换路由之后同一个模型的价格会变吗?

单次调用价格取决于实际被路由到的那家供应商,挂牌价不同则实付不同。Hugging Face 不加价,把供应商成本直接透传,账单里可以按供应商拆开看每一笔花了多少。

我该继续用 HF 路由还是自己搭多供应商容灾?

流量不大、供应商组合单一的场景,继续用官方路由更划算,容量错误下降 46% 这类容灾能力不用自己维护。但对数据驻留有硬要求、需要把请求锁在特定供应商、或者要求账单可预测的场景,自己用后缀锁定加自建网关更合适。

小结

这次改动的核心落在入口和责任边界两处,路由算法本身是否变聪明并不关键。入口上,Hugging Face 把推理层的供应商调度交给了 OpenRouter,自己退到 token、计费与模型分发的位置。责任边界上,自定义 key 取消,供应商选择变成模型名后缀和设置项这两个显式动作。

对已经在用 Hugging Face 推理的团队,最该做的是清点代码里硬编码的 key 和模型名,这两处改完就能上。其余的成本优化,更值得花时间在模型选型上,开源权重模型与闭源模型在 OpenRouter 上的单价差是四倍以上,路由策略带来的百分点级收益放在这个量级面前并不显眼。

相关阅读

全部文章归档与模型专题