10 月 22 日,MarkTechPost 报道 You.com 推出 Inference Router,一款面向开发者的推理路由服务。它提供 OpenAI 兼容接口,一次聚合 12 个开放权重模型,并给出 99.9% 的最低可用性 SLA。对不想为每家模型单独适配 SDK 的团队,这类统一入口提供了另一种工程解法。
12 个开放权重模型与 99.9% SLA
路由器覆盖的模型跨度很大,从 GPT-OSS 120B 的 125K 上下文,一直覆盖到 Kimi K3 与 Qwen3.8 Max 的 1M 上下文,其中 Kimi K3 为 2.8T 参数,Qwen3.8 Max 为 2.4T 的 MoE 架构。服务承诺 99.9% 最低可用性、零数据保留、100% 美国托管,并内置服务端 web search,计费按量付费且不收平台费。
零数据保留这一条对做企业应用的团队尤其关键。请求内容不落盘,意味着合规审查时不必再逐家模型厂商谈判数据留存条款,路由层把这件事一次性解决。100% 美国托管也是同理,它把数据驻留要求与延迟路由的灵活性拆开,团队可以按区域就近调度模型,同时保证请求不出境。
LiveNewsBench 上的成本对比
官方给出的实测成绩是,在 LiveNewsBench 基准上,GLM-5.3 配合 You.com 搜索得到 86.53% 的得分,单题成本 0.0485 美元,而同样的任务在 Claude Sonnet 5.5 上单价为 0.0920 美元。路由层的意义正在于这类成本差,团队可以把请求按难度分流到不同价位与不同上下文长度的模型上,而不必自己维护多套调用逻辑。
成本差接近一倍,说明模型选择的组合空间正在快速拉开。同一道需要实时信息的题目,路由到 GLM-5.3 加搜索与路由到 Claude Sonnet 5.5 的单题支出相差 0.0435 美元,量大之后就是实打实的账。对多数团队而言,真正的工作量不在选模型,而在于维护多套提示词、限流策略与故障切换逻辑,路由器把这部分工程成本一并外包了出去。
延伸阅读
- 百川智能发布 AI 家庭医生「百小医」:Baichuan-M4 幻觉率降至 3.3%,可加微信好友盯用药1 月前
- Stripe 收购 OpenRouter:超 70 亿美元价格拿下大模型路由平台,AI 基础设施进入金融结算层整合1 月前
- 科大讯飞 Spark-Audio-1.0-Preview 发布:全国产语音基座,202 种方言识别1 月前
- OpenAI 被曝按吨囤 Mac mini:几万台全拿去训 AI 了2 月前
继续读
同一批更新里这几篇值得一看:
- 信通院词元监测报告:8 月 TPS 78.23,均价涨至 13.46 元2026-10-24
- 网信委印发国家信息化十五五规划:适时启动 6G 商用2026-10-24
- OpenAI 10 月 1 日恢复训练:断网沙箱挡不住缓存计时侧信道2026-10-24
