10 月 20 日，在 2026 CCF 全国高性能计算学术大会期间，是石科技发布了分布式调度框架 TokenFleet，把优化重点放在请求路由、跨机房容量协同与混合负载治理上，目标是让现有算力产出更多有效 Token。根据其提供的调优数据，启用预测延迟路由后 P95 首 Token 延迟降低 32.4%，P50 首 Token 延迟降低 71.3%。
三项技术各管一段
TokenFleet 由三块组成：TokenPilot 在同一模型池内挑选实例，FleetMind 负责跨机房容量协同，SLOMax 负责混合负载的准入、队列治理与容量分配。三者的共同指标是成功完成且满足服务要求的有效 Token 产出。
难点在于请求形态差异极大。一句短问答和一份长文档，即使都算一次请求，消耗的算力与显存可能相差很多；只按请求数分流，很容易让部分实例排起长队而别处容量闲置。加上缓存之后取舍更复杂：请求涌向缓存命中高的实例，省下的计算时间可能又消耗在排队上。TokenPilot 在选点时会同时估算缓存复用收益与排队代价，结合输入规模、输出预算、可复用前缀、队列长度、在途 Token、KV 缓存压力与预测延迟筛选实例。
推理比训练更容易换平台
这套思路与行业里另一条主线是相通的。推理对特定硬件生态的依赖远低于训练，关键变成成本、效率与系统能力，国产芯片在推理场景里更容易获得对等机会。无问芯穹完成 23 亿元 C 轮融资走的也是异构建力调度这条路，把多种芯片的调度统一到一层框架之下。
需要说明的是，官方也提示延迟下降并不直接等于成本下降，要判断真实收益还得看单位有效产出的实际账单。
延伸阅读
- 小米开源 MiMo-V2.6 双模型 6 天 RL 训出 DeepSWE 72.57 与 65.684 周前
- 商汤大装置日均6万亿Token：PD分离把异构集群吞吐拉高5倍2 天前
- 阿里真武V900发布：算力达M890三倍，单集群50万卡4 周前
- AMD 英特尔 10 月 20 日联手：x86 AI 优化并入 oneDNN1 小时前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- 商汤大装置日均6万亿Token：PD分离把异构集群吞吐拉高5倍2026-10-19
- 小米开源 MiMo-V2.6 双模型 6 天 RL 训出 DeepSWE 72.57 与 65.682026-09-25
- 阿里真武V900发布：算力达M890三倍，单集群50万卡2026-09-22