10 月 26 日,vLLM Semantic Router 团队放出了 Decision 3.0 家族里体量最大的决策模型 d3-ultra,26.09B 参数,权重按 Apache-2.0 开放。它不生成文字,只用一次读取给每个问题返回概率。
一次读取,回答所有问题
d3-ultra 接受文本或 JSON 状态加图片视频,然后对一组带类型的问题逐一作答,选择题选一项,是非题返回 yes 的概率,评分题给分,Box 题在图像或视频里定位,Track 题跨整段视频跟踪目标。核心思路是 state once,一次请求只读一遍输入,之后所有问题都从这次读取里出答案。底层是 Qwen3.5 架构的 64 层骨干,48 层线性注意力加 16 层全注意力,同系列的 d3 是从 Qwen3.8-27B 训练而来。每个问题最大 131072 token,超出会直接报 max_length_exceeded,不做静默截断。
SR-Text 领先,Box 反而落后
团队自测的 SR-Text 包含 10411 个请求和 73495 个问题,d3-ultra 得 87.2,GLiDE V1.2 是 85.1,d1-ultra 83.4,d3-turbo 83.1,Jev 1.14 只有 73.1。视觉定位的 SR-Box 上它掉队,10 个领域 58.2%,比同门 d3-turbo 的 60.0% 低,官方解释是 d3-turbo 在自然图像上更强,而 d3-ultra 在图表上领先。延迟方面,单张图片一个问题 304 毫秒,255 个问题共 2.16 秒,多问一个约 7.3 毫秒,部署只用一张 AMD Instinct MI325X。决策模型省钱省步数的效果,可与 Drex for Search 的六项基准实测 对照看。
部署方式有四条。Transformers 侧用 AutoModel.from_pretrained 加载,需要 transformers 5.17.0,配套可选的 flash-linear-attention 加速包。vLLM 语义路由引擎的 vllm-sr serve -e 命令在 10 月 25 日的 PR 5449 里加入。官方还提供免费 API 和一个 Hugging Face Space 演示。定价上 d3-ultra 和 d3-turbo 都是免费 API 加自建,GLiDE V1.2 与 Jev 1.14 按每百万输入 token 0.04 美元收费。模型还会把答案里的概率直接转成决策,置信度接近 0 表示画面里根本没有目标,这比让生成模型先描述再判断要省一轮。
一次调用同时做路由、分类、定位和视频校验,这套账算下来比串四次模型便宜得多。
延伸阅读
- 英伟达优化Kimi K3推理:2.8万亿参数达423 tok/s,提速1.68倍1 周前
- 蚂蚁数科发布 LingDT-Decision-1.0:Token 降超 90%5 天前
- 中国电信星辰开源 Xing4.0-29B-Intent:275 万语料全放出5 天前
- Jev 估值百亿美元背后:17 天内 OpenAI、亚马逊、Cloudflare 全部跟进3 周前
继续读
同一批更新里这几篇值得一看:
- StartLux 开源决策模型推理引擎 Prism:单卡最高提速 5.3 倍2026-10-25
- OpenAI 决策模型全面开放:延迟压至 120 毫秒2026-10-23
- 中国电信星辰开源 Xing4.0-29B-Intent:275 万语料全放出2026-10-23
