Hugging Face 推理全走 OpenRouter:容量错误降 46%

11 月 18 日,Hugging Face 宣布 Inference Providers 的语言模型请求全部交由 OpenRouter 路由,开发者自带模型供应商 API key 的方式随之取消。已有代码无需修改即可继续运行。

路由器按价格速度和可靠性挑供应商

默认策略是在价格、速度与可靠性之间取综合最优。模型名后缀加 :fastest 会选吞吐量最高的供应商,加 :cheapest 则选最便宜的那家,开发者也可以直接指定供应商名称。X-HF-Session-Id 请求头会被路由层用来考虑供应商侧的缓存命中情况,与多供应商比价的思路接近 百度词元所的模型比价与挑法。

容量错误下降 46%

按 OpenRouter 自己的测量数据,接入新路由后容量类错误下降了 46%,首字延迟改善 16.9%,吞吐量提升 16.3%。OpenRouter 称目前每月处理超过 800 万亿个 Token,服务超过 1000 万用户,提供来自 80 多家供应商的 600 多个模型。

计费方式的变化

Hugging Face 不加价,直接透传供应商价格并自行结算。Pro 用户每月有少量额度赠送,团队与企业组织按席位发放。图像、视频和音频生成仍然直接走 Inference Providers,模型页面新增标签展示可用供应商及其性能指标,也可以在设置里禁用某家供应商。对中小团队来说,这等于用一次接入换来了多家供应商的价格与稳定性,不必自己写容灾逻辑,这是这次改动对使用者最直接的好处,切换几乎没有成本。

全部文章归档与模型专题