10 月 26 日，清华大学与香港中文大学团队开源 AKV 缓存工程服务系统，构建在 SGLang 之上。它让智能体自己丢弃和重排 KV Cache，跨 3 个模型、4 个智能体基准测下来，平均成本下降 27.7%，平均任务分数提升 1.7 分。
不动文本轨迹，只改注意力看得见什么
上下文工程的做法是修剪或总结文本历史，一旦改动前缀，后面所有 KV 状态就失效，保留的后缀必须重新预填充，所以框架往往在靠后的轮次激进总结，容易丢掉中间轮次的细节。缓存工程不碰文本轨迹，只改变哪些 KV 条目对注意力保持可见，被保留的条目可以直接复用而无需重算。论文的成本分析里，KV cache 读取占总 API 成本的 82.4%。
三个操作与实测数字
AKV 定义了三个缓存操作。Append 是新 token 的标准更新；Drop 把选定条目从后续注意力里移除且不改变位置；Repos 用 RoPE 旋转把保留的 key 重写到 0 到 r-1 的位置，value 保持不变，因此不需要重算隐藏状态。消融实验里加入 Repos，让 GPT-OSS-120B 在 BrowseComp-Plus 的通过率从 55% 升到 62%。在 SWE-bench Verified 上，GPT-OSS-120B 的单任务成本从 20.0 美分降到 9.7 美分，分数从 40.0 升到 43.2。最差情况出现在 MiniMax-M2.7 的 BrowseComp-Plus，得分 58.9，比 Text Engineering 的 62.3 低 3.4 分。
服务层的实现难度
相同 token 在不同操作历史下会产生不同的缓存状态，朴素的前缀匹配可能复用错误状态。AKV 扩展了 SGLang 的 radix tree，加入 drop 与 reposition 节点，只有在没有活跃请求仍需要时才释放被删的 KV，segment-batch attention 用一次预填充恢复被驱逐的状态。测试模型包括 GPT-OSS-120B（5.1B 激活）、MiniMax-M2.7（230B 总参数、10B 激活）与 MiroThinker-1.7-Mini（30B 总参数、3B 激活），论文使用 8 张 A800-80GB 跑 BF16，代码以 Apache-2.0 授权。同类思路在推理框架侧还有另一种落法，可见 DeepSeek 开源推理框架 DeepInfer。
延伸阅读
- 星动纪元VPP2登顶RoboDojo，真机58.5%超越GPT-6-Astra3 周前
- AKV 缓存工程开源：智能体成本降 27.7%，分数升 1.7 分14 小时前
- Cloudflare曝GLM-5.3跨请求泄露：155个响应命中他人数据10 小时前
- 紫荆智康 AI 医院多分身协同：手术机器人 708.5 亿市场5 天前
继续读
同一批更新里这几篇值得一看：
- Cloudflare曝GLM-5.3跨请求泄露：155个响应命中他人数据2026-10-27
- 紫荆智康 AI 医院多分身协同：手术机器人 708.5 亿市场2026-10-23
- AKV 缓存工程开源：智能体成本降 27.7%，分数升 1.7 分2026-10-27