10 月 22 日,MarkTechPost 报道 You.com 推出 Inference Router,一款面向开发者的推理路由服务。它提供 OpenAI 兼容接口,一次聚合 12 个开放权重模型,并给出 99.9% 的最低可用性 SLA。对不想为每家模型单独适配 SDK 的团队,这类统一入口提供了另一种工程解法。
12 个开放权重模型与 99.9% SLA
路由器覆盖的模型跨度很大,从 GPT-OSS 120B 的 125K 上下文,一直覆盖到 Kimi K3 与 Qwen3.8 Max 的 1M 上下文,其中 Kimi K3 为 2.8T 参数,Qwen3.8 Max 为 2.4T 的 MoE 架构。服务承诺 99.9% 最低可用性、零数据保留、100% 美国托管,并内置服务端 web search,计费按量付费且不收平台费。
零数据保留这一条对做企业应用的团队尤其关键。请求内容不落盘,意味着合规审查时不必再逐家模型厂商谈判数据留存条款,路由层把这件事一次性解决。100% 美国托管也是同理,它把数据驻留要求与延迟路由的灵活性拆开,团队可以按区域就近调度模型,同时保证请求不出境。
LiveNewsBench 上的成本对比
官方给出的实测成绩是,在 LiveNewsBench 基准上,GLM-5.3 配合 You.com 搜索得到 86.53% 的得分,单题成本 0.0485 美元,而同样的任务在 Claude Sonnet 5.5 上单价为 0.0920 美元。路由层的意义正在于这类成本差,团队可以把请求按难度分流到不同价位与不同上下文长度的模型上,而不必自己维护多套调用逻辑。
成本差接近一倍,说明模型选择的组合空间正在快速拉开。同一道需要实时信息的题目,路由到 GLM-5.3 加搜索与路由到 Claude Sonnet 5.5 的单题支出相差 0.0435 美元,量大之后就是实打实的账。对多数团队而言,真正的工作量不在选模型,而在于维护多套提示词、限流策略与故障切换逻辑,路由器把这部分工程成本一并外包了出去。
相关阅读
延伸阅读
- Kinference 怎么装:vLLM 控制面首字延迟 6.88 秒压到 0.31 秒4 天前
- vLLM d3-ultra:26.09B 答完 255 题,SR-Text 87.2 分2 周前
- 澳洲航空裁员850人 工会质疑借AI转型裁减本土岗位8 小时前
- 字节筹备中国版Muse:豆包月活4.19亿 剑指个人AI助手8 小时前
继续读
往下这几篇值得接着看:
- Kinference 怎么装:vLLM 控制面首字延迟 6.88 秒压到 0.31 秒2026-11-09
- vLLM d3-ultra:26.09B 答完 255 题,SR-Text 87.2 分2026-10-27
- DeepL Aure 语音模型:8 语种与 76% 翻译错误下降2026-11-13
