11 月 7 日，Linkerd 背后的公司 Buoyant 开源了 Kinference，一个跑在 Kubernetes 与 vLLM 之上的推理控制平面。按其自测数据，在共享前缀负载下，首字延迟中位数从 6.88 秒降到 0.31 秒，降幅 95%。
它管的是哪一层
Kinference 坐在一组 vLLM worker 之前，决定每个请求发往哪里。路由策略、token 速率限制、KV cache 感知的负载均衡与按租户拆分的指标，全部收在这一层。对同时给多个内部团队提供多个开放权重模型服务的团队，它瞄准的是模型服务器之上的那一层。vLLM 是数据面，Kinference 是控制面。
实现方式与配置面
系统分两部分，流量网关与推理处理器。处理器暴露 gRPC 接口，接收请求并返回选定的端点，可能还会改写请求体，配合 Buoyant Gateway 这类代理一起工作。它会监听 vLLM 的 KV cache 事件与引擎指标，目前用英伟达的 dynamo-kv-router crate 处理缓存事件。配置写在 5 个自定义资源里，包括 GatewayBackend、InferencePolicy、InferencePool、InferenceProvider 与 InferenceWorkerSet。当前版本 v0.1.0-alpha.7，Rust 编写，Apache 2.0 授权。
策略示例与实测边界
策略可以按租户、请求的模型、GPU 池状态和语义标签匹配。项目站点给出 5 种模式，包括把低复杂度提示路由到更小的模型，队列超过 2 个请求时跳过该 worker 转去外部供应商，命中敏感信息标签就移除外部供应商并直接拒绝，以及把批处理请求交给 KV cache 占用低于 70% 的空闲 GPU。
成绩也要看清边界。Buoyant 的基准用的是每池 3 张 L40S，共享前缀场景收益显著，没有共享前缀时中位首字延迟没有提升，6.92 秒对 6.83 秒。官方自己标注为自测结果。
vLLM 侧的其他进展，本站 vLLM d3-ultra：26.09B 答完 255 题，SR-Text 87.2 分 可以一起看。
延伸阅读
- Mercury 3 扩散式大模型发布：每秒1068 token、1M上下文，12项基准赢8项2 周前
- 小米开源 MiMo-V2.6 双模型 6 天 RL 训出 DeepSWE 72.57 与 65.681 月前
- 亚马逊 CEO 贾西：AI 推理成本需降至当前的十分之一2 周前
- 英伟达入股 GMI Cloud 6.68 亿美元：GPU 云争夺转向两岸准时交付1 月前
继续读
同一批更新里这几篇值得一看：
- Together AI 编译器提速推理 2.6 倍：单配置 24 小时内2026-11-05
- 斯坦福研究：50 条大模型经典结论 44% 已失效2026-11-05
- 英伟达优化 Ling-3.0-flash 推理：吞吐提升 42.5%2026-11-04
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记