10 月 22 日，国内 AI 创业公司 StartLux（原点星辉）开源了专为决策模型打造的推理引擎 StartLux-Prism，这是全球首个专门面向决策模型设计并对外开源的推理引擎。在单张 H200 上跑 StartLux-Decision-v1.1 27B 模型，同一份材料回答三个问题的处理时间从 92.9 毫秒降到 17.4 毫秒，最高提速 5.3 倍。
只算答案需要的 0.01%
Prism 的第一项优化直指两类模型的差异。对话模型要逐词往外写，决策模型读完材料只干一件事，给有限几个选项各打一个概率。通用引擎面对 27B 模型时，输出层要对 24.8 万个候选词完整打分，而决策任务真正要比较的往往只有 A、B、C 这样的选项字母。Prism 把最后这一步的计算范围压到原来的 0.01%，材料理解部分照常完整跑完。这在数学上完全等价，softmax 本来就在给出的选项之间做。
森林式批处理与确定性计算
第二项优化针对重复阅读。一张客户工单可能同时要判断归属团队、回复时限和严重程度，通用引擎每答一题就把材料重读一遍。Prism 把一批任务组织成一片森林，公共指令是树根，共同材料是树干，各个问题是树枝，树根树干只算一次。
第三项是确定性。决策模型输出概率，系统可能直接拿它决定下一步动作，同一个问题在不同时间给出不同答案在业务上不可接受。Prism 把相关矩阵运算全部放在 int8 张量核上，在 int32 里精确累加。整数加法不受计算顺序影响，结果不会因批次大小或调度顺序漂移。同一请求无论单独跑还是混跑、是否命中缓存、一张卡还是多张卡，输出概率都逐位一致。
速度与准确率
实测数据分几个场景。短问题从 53.1 毫秒降到 19.0 毫秒，提速 2.8 倍。开思考模式后从 1296 毫秒降到 785 毫秒，提速 1.7 倍。约 8192 token 的长问题提速收窄到 1.2 倍。JevBench 上并发 64 时每秒处理请求数从 26.3 提升到 30.7，约 17%。
准确率没有折损。7 个评测集共 12351 个决策的带思考测试里，INT8 方案平均准确率 92.94%，与 BF16 原精度的 92.97% 基本持平。在 JevBench 231 道题的横向对比里，Prism 单题平均延迟 41 毫秒，SGLang 是 75.6 毫秒，vLLM 是 112.7 毫秒。27B 模型的 4 位文件 16.55GB，单张 32GB 显存的 RTX 5090 就能跑，比 llama.cpp 快 3.9 倍。
决策模型这条赛道正在变拥挤，站内有一篇梳理决策模型用于智能体路由的拆解，Cloudflare 开源 Clef 决策模型把结果压到 39 毫秒，详见 Cloudflare 开源 Clef 决策模型：39ms 出结果，让 AI Agent 路由不再卡壳。
延伸阅读
- cua 升级 computer-use 2.0，跨系统机群训练评测1 月前
- Kimi K3 开源权重正式开放下载：2.8万亿参数，全球最大开源模型纪录3 月前
- Anthropic推出OSS Scanner：用最强AI模型为全球开源项目免费扫漏洞2 周前
- Liquid AI 发 RIPL：p95 延迟 155.8 毫秒2 天前
继续读
同一批更新里这几篇值得一看：
- Grok 4.7 选共和党 92%，GPT-6.1 Sol 选民主党 97%2026-10-25
- You.com 推理路由上线：12 个开放权重模型 99.9% SLA2026-10-24
- Cactus 开源 16.9MB 端侧语音模型，词错率降到 10.47%2026-10-23