10 月 20 日，谷歌云在 PyTorch Conference 北美场发布 llm-d 1.0，这是其开源分布式推理栈的首个稳定版本，把 vLLM 或 SGLang 模型服务器整合成一个统一资源池。官方基准显示，在 17000 节点的三集群部署上吞吐提升 2.9 倍，成功率 99.9%，额外开销不到 1%。
缓存感知路由是核心
llm-d 路由器基于 Kubernetes Gateway API 的推理扩展，会记录每个副本缓存了哪些前缀，再结合负载与预测延迟挑选副本，智能体的每一步都落到上下文已经在那里的机器上。加速器显存吃满后，KV 缓存依次落到主机内存、SSD 或托管 Lustre；prefill 与 decode 被拆成独立池运行，前者吃算力、后者吃带宽。
首 token 延迟砍掉 85%
在 Ironwood TPU 的编码任务上，前缀感知路由加上主机内存卸载，把首 token 延迟中位数压低 85% 以上，吞吐比裸 Kubernetes Service 高 2.4 倍。Gemini 平台上的前缀缓存命中率从 35% 翻到 70%，编码智能体的首 token 延迟下降超过 35%。Zenteiq 报告每千张 TPU v6e 芯片的日处理量从 14.7 亿 token 涨到 59.7 亿。
17000 节点的真实压测
官方公布的那组大规模基准跑在 17000 节点、跨 3 个集群的 GKE 环境上，吞吐扩展 2.9 倍，成功率 99.9%，额外开销低于 1%。另一个 A3 Mega 集群上的 700 亿参数模型测试里，Lustre 加 CPU 内存卸载让 5 万 token 长提示的首 token 延迟改善约 40%，端到端延迟下降 30%，GPU 小时数减少接近 60%。
与 Dynamo、AIBrix 同台
llm-d 1.0 采用 Apache 2.0 许可，2026 年 3 月成为 CNCF 沙盒项目，由红帽、IBM 与谷歌云担任主要维护者，500 多名贡献者来自 25 家以上组织。相比英伟达 Dynamo 1.5.1 和字节发起的 AIBrix 0.7.0，llm-d 的特色是完整的平台层控制面加上缓存感知路由。
延伸阅读
- 小米开源 MiMo-V2.6 双模型 6 天 RL 训出 DeepSWE 72.57 与 65.684 周前
- 谷歌云发布Gemini Agent，综合成本降至三分之一，90%财富100强已入场2 周前
- 阿里真武V900发布：算力达M890三倍，单集群50万卡4 周前
- 商汤大装置日均6万亿Token：PD分离把异构集群吞吐拉高5倍2 天前
继续读
同一批更新里这几篇值得一看：
- 是石科技 TokenFleet 发布：P95 首 Token 延迟降 32.4%2026-10-21
- 商汤大装置日均6万亿Token：PD分离把异构集群吞吐拉高5倍2026-10-19
- 谷歌云发布Gemini Agent，综合成本降至三分之一，90%财富100强已入场2026-10-09