结论先说:Hugging Face 把 Inference Providers 的语言模型请求整体交给了 OpenRouter 路由,官方给出的数字是容量类错误下降 46%、首字延迟改善 16.9%、吞吐量提升 16.3%。代价同样明确,自带供应商 API key 的老用法在语言模型上彻底失效,想指定某家供应商,得在模型名后面加后缀。这是一次改动而不是一次升级,迁移动作要在上线前做完。
换了什么:路由层从自研交给 OpenRouter
11 月 16 日 Hugging Face 在官方博客发布公告,说明 Inference Providers 的路由实现从自家路由器切换为 OpenRouter 的路由层。切换后,每次语言模型请求由 OpenRouter 按实时价格、速度和可靠性打分挑供应商,首家失败时在同一次调用内重试下一家,开发者侧的代码和 token 不用改。
从用量结构看,开源权重模型已经是 OpenRouter 上的主力军,这一点在OpenRouter 全球模型榜前五全是中国模型那篇里有更细的拆解。
支撑这次切换的体量不小。OpenRouter 每月处理超过 800 万亿 token,服务超过 1000 万用户,接入 80 多家供应商的 600 多个模型。这套路由建立在真实流量的持续测量结果上,不是静态策略表。
接口层面也做了统一。OpenAI 的 Chat Completions、Responses 两个接口与 Anthropic 的 Messages 接口都能直接调用,Claude Code、Codex、OpenCode、Pi、Hermes Agent 这些编码代理都有现成的接入步骤,复制配置或整段复制成提示词交给代理即可。图文与音视频生成没有走这条路径,仍由 Hugging Face 直连自己的推理后端,不经过 OpenRouter。
最关键的变化:自带 key 失效
这是公告里 breaking change 章节的内容,也是升级时最容易踩的坑。语言模型请求现在统一走 OpenRouter 并计入你的 Hugging Face 账户或组织账单,因此不能再为这些模型填入自己的第三方供应商 API key。
图像和视频供应商的自定义 key 仍然有效,这两类任务本来就不经由 OpenRouter。
替代方案有两个。一是给模型名加后缀指定供应商,例如 zai-org/GLM-5.3:novita 表示只走 Novita。二是直接在设置里关掉不想用的供应商,路由器不会再把请求发过去,组织级设置对所有计费到该组织的请求生效。
后缀怎么选:四种路由策略对照
模型名后缀是这次迁移之后最常用的控制手段,写法如下。
| 模型 ID 写法 | 实际行为 | 适合场景 |
|---|---|---|
zai-org/GLM-5.3 |
按价格、速度、可靠性综合最优挑一家 | 默认选择,通用业务直接用 |
zai-org/GLM-5.3:fastest |
只选吞吐量最高的供应商 | 高并发 Agent、批量处理 |
zai-org/GLM-5.3:cheapest |
只选价格最低的那家 | 离线任务、评测跑批 |
zai-org/GLM-5.3:novita |
锁定 Novita 一家 | 需要缓存命中稳定,或对数据驻留有要求 |
这类多供应商比价的思路,和百度词元所 70 款模型比价与 12 家供应商挑法是同一套问题,只是选型平台不同。要衡量自建网关值不值,可以参考Keln 网关基准实测的缓存命中率 93.9%。
路由还带缓存感知能力,同一个会话会尽量留在持有该会话提示词缓存的供应商上。要让这个行为显式生效,可以在请求里带一个稳定的会话 UUID,放进 X-HF-Session-Id 头。命中缓存的输入 token 单价通常明显低于全价,这一条在长对话场景里的影响比换供应商本身还大。
模型页新增了 Providers 和 Metrics 两个标签页。Providers 列出可路由到的每一家,含输入输出单价、近 24 小时速度与可用率;Metrics 给出最优单价、吞吐、首字延迟、上下文长度和可用率。用量总览能按供应商拆开花费,设置页可以逐个禁用。
官方数字之外:路由到底涨没涨质量
46%、16.9%、16.3% 这组数字来自 OpenRouter 自己的测量,衡量的是容量错误、首字延迟和吞吐这类工程指标,不回答同一个模型在不同路由下输出质量会不会变。11 月 17 日社区发布的 AutoBench 路由器审计给了另一侧的答案。
OpenRouter 在 11 月 6 日上线了新一代 Auto Router,slug 不变,内部换成了成本优先的实现。同一套冻结题集上的 Delta-Hit 分数(相对基准模型多拿对的题数比例)从上一代的 79.1% 掉到 65.2%,default、low、medium 三档分别只有 58.1%、60.3%、57.9%,基本等同于随机选择。新旧两代在具体选项上重合度只有 1% 到 12%,Luna 在 high 档根本没有出现过。
| 路由方案 | 候选模型池 | Delta-Hit | 相对池内随机提升 | 每题计费 |
|---|---|---|---|---|
| 上一代 Auto Router(high) | 20 | 79.1% | +17.1 | 约 0.023 美元 |
| 新版 Auto Router(high) | 15 | 65.2% | +4.1 | — |
| 新版 Auto Router(default/low/medium) | 15 | 58%–60% | ≤ 0 | — |
| Conifer | 17 | 74.8% | +14.6 | 约 0.0052 美元 |
| dari(仅选择路径) | 8 | 79.1% | +5.2 | 约 0.022 美元 |
| 固定调用 GPT-5.6 Luna | 1 | 85.3% | — | 约 0.0043 美元 |
| AutoBench Router(Balanced) | 3 | 87.8% | 已高于固定 Sol | — |
这张表里最刺眼的两个数:dari 的 79.1% 看着和上一代 Auto Router 持平,但它只看到 8 个模型,在池子里随机挑已经能拿 73.9%,真实增益只有 5.2 个点,而且账单约为固定调用 Luna 的 5 倍。另一端是始终调用一个中等价位模型,85.3% 的分数配 0.0043 美元的每题成本,把好几家商业路由器都压在下面。
路由有没有用,得按题目类型分开算。省容量错误是工程收益,涨质量是另一笔账。OpenRouter 自己的表述是这次重做路由器时不再只看最低挂牌价,而是综合价格、速度、可靠性。
开源权重模型在 OpenRouter 上的占比与价差
这次公告里另一组数字更值得关注,它直接关系到用哪个模型省多少钱。OpenRouter 官方统计显示,开源权重模型占其服务 token 的比例从 2025 年 10 月的 26.8% 涨到 2026 年 9 月底的 71.7%,7 月一度峰值 77.5%。同期开源权重模型的周调用量增长超过 60 倍,闭源模型约 10 倍。本周 OpenRouter 上用量最高的是开源模型 DeepSeek V4.1 Flash 1017,单周 59.2 万亿 token。
| 口径 | 开源权重模型 | 闭源模型 |
|---|---|---|
| 输入价(每百万 token) | 0.28 美元 | 1.27 美元 |
| 输出价(每百万 token) | 1.62 美元 | 6.36 美元 |
| 最佳 Artificial Analysis 智能指数 | Kimi K3.1 Pro 46 分 | Claude Fable 5.2 65 分 |
| 该模型单任务成本 | 3.68 美元 | 26.54 美元 |
OpenRouter 的实时价格接口可以直接核对当前挂牌价。GPT-6.2 Astra 与 Claude Fable 5.2 都是输入 8 美元、输出 40 美元每百万 token,GPT-6.1 Sol 是 2 美元与 10 美元,DeepSeek V4.1 Flash 是 0.3 美元与 1.2 美元,Kimi K3.1 Pro 是 0.253 美元与 8.8 美元,GPT-5.6 Luna 则是 0.2 美元与 1.2 美元。同一套官方口径下不同代际的价差能到几十倍,选模型这件事的收益量级远大于路由策略的收益量级。DeepSeek V4.1 Flash 的 552B MoE 与 KV 缓存缩小 437 倍解释了它为什么能撑起单周 59.2 万亿 token 的调用量,而腾讯混元 Hy4 flash 的 0.5 元每百万 token也说明国产模型的价格战还在继续。
迁移清单:上线前必须改的五处
第一处,检查代码里有没有硬编码的供应商 API key。语言模型相关的自定义 key 现在会被拒绝,需要在设置里换成走 HF 计费,或者用后缀锁定一家供应商。
第二处,把散布各处的模型名统一加后缀。原样调用就是走综合最优策略,稳定性和延迟都不确定,想复现之前某家的行为就得显式写死。
第三处,确认用量归集方式。PRO 用户每月赠送 2 美元额度,Team 与 Enterprise 组织按席位每人每月 2 美元发放,通用计算额度还能用于 Inference Endpoints、升级后的 Spaces 硬件和 Jobs。调用组织计费需要明确指定组织。
第四处,会话级的请求加上 X-HF-Session-Id。长对话场景里缓存命中率的差别直接体现在账单上,这一行的成本远低于换供应商。
第五处,做一次失败路径演练。以前的模型调用失败会直接把供应商的错误抛给你,现在会在同一次调用内换一家重试。这对可用性是好事,但会改变超时和重试的观测口径,监控面板上的错误率可能一次性掉下去,需要提前跟告警规则对齐。
常见问题
我自己填的 API key 还能继续用吗?
语言模型请求不能了,这些请求统一经由 OpenRouter 并计入 Hugging Face 账户或组织账单。图像和视频供应商的自定义 key 不受影响,因为这两类任务不经过 OpenRouter。
换路由之后同一个模型的价格会变吗?
单次调用价格取决于实际被路由到的那家供应商,挂牌价不同则实付不同。Hugging Face 不加价,把供应商成本直接透传,账单里可以按供应商拆开看每一笔花了多少。
我该继续用 HF 路由还是自己搭多供应商容灾?
流量不大、供应商组合单一的场景,继续用官方路由更划算,容量错误下降 46% 这类容灾能力不用自己维护。但对数据驻留有硬要求、需要把请求锁在特定供应商、或者要求账单可预测的场景,自己用后缀锁定加自建网关更合适。
小结
这次改动的核心落在入口和责任边界两处,路由算法本身是否变聪明并不关键。入口上,Hugging Face 把推理层的供应商调度交给了 OpenRouter,自己退到 token、计费与模型分发的位置。责任边界上,自定义 key 取消,供应商选择变成模型名后缀和设置项这两个显式动作。
对已经在用 Hugging Face 推理的团队,最该做的是清点代码里硬编码的 key 和模型名,这两处改完就能上。其余的成本优化,更值得花时间在模型选型上,开源权重模型与闭源模型在 OpenRouter 上的单价差是四倍以上,路由策略带来的百分点级收益放在这个量级面前并不显眼。
相关阅读
- OpenRouter 全球模型榜前五全是中国模型:周调用 188 万亿 Token
- Keln 网关基准实测:缓存命中 93.9%,四家 AI 网关跑 3360 轮
- 百度词元所怎么接入:70 款模型比价与 12 家供应商挑法
- DeepSeek V4.1 Flash:552B MoE、KV 缓存缩 437 倍
- MAI Code 2 怎么选:0.309 美元单任务与 GPT-6.1 Sol 对比
延伸阅读
- 《纽约时报》揭OpenAI安全黑洞:员工预警被无视,GPT-6.1 Astra被迫取消发布2 月前
- 小米开源 MiMo-V2.6 双模型 6 天 RL 训出 DeepSWE 72.57 与 65.682 月前
- 英伟达 129.3 亿美元收购 Hugging Face 遭司法部问询3 周前
- StartLux 凭什么 69.1 分霸榜 Hugging Face:原创 RLCD² 方法论深度解析1 月前
继续读
往下这几篇值得接着看:
