EdgeRock-4B开源：KV Cache减99.1%，单卡512路

10 月 26 日，据量子位报道，岩山科技旗下岩芯矩阵联合港科大、CMU 等高校发布并开源 EdgeRock-4B。在 256K 上下文下，它的 KV Cache 占用固定在 72MiB，较源模型减少 99.1%，单张 80GB 显卡可同时跑 512 路长推理，输出吞吐 12124 tokens/s。

一张卡装下原本要 13 张显存的负载

EdgeRock-4B 每条序列需要保存的全部历史状态固定为 97.76 MiB，不随长度变化。对照组是 Qwen3.5-4B，每生成一个 token 要新增 32 KiB 的 KV Cache，推理到 64K 一条序列就是 2 GiB，推理到 256K 就是 8 GiB。如果让 Qwen3.5-4B 同时跑完 512 条序列，光是生成结束时的 KV Cache 就要 1 TiB，约等于 13 张 80GB 显卡的显存。EdgeRock 一张卡就装得下，峰值 61.26 GiB，其中还含模型权重。

吞吐 12124 tokens/s，是源模型的 6.42 倍

测试设定为 32K 输入、32K 输出。EdgeRock-4B 开到 512 路并发，输出吞吐 12124 tokens/s；源模型 Qwen3.5-4B 的最快配置批大小 64，只有 1889 tokens/s，Gemma 4 E4B、MiniCPM5-2B、LFM2.5-2.6B 也都落在 1700 到 2200 tokens/s 之间。扩展性上，4K 到 32K 输入输出两两组合的 16 种负载下，批大小从 32 加到 512，加权解码吞吐从 4128 涨到 12497 tokens/s，显存峰值始终没碰到单卡上限。128K 输入后再生成 128K token，速度从头到尾稳在 233.7 tokens/s。

固定内存之后还要留住远处细节

AIME 2024 至 2026 的平均一次通过率达到 82.9%，而参评的有界状态模型即便做到 14B，最好也只有 18.8%。MLA 压缩 KV、KIVI 量化、谷歌 TurboQuant 这些方法只降低单个 token 的成本，缓存照样随推理增长；循环模型与状态空间模型内存天生固定，却往往留不住后续推理要用的远处细节。模型权重和推理代码均已开源，支持文本和图像推理。相关机制在 DeepSeek V4.1 Flash 的 KV Cache 设计 里有更系统的拆解。

相关阅读

• Cloudflare曝GLM-5.3跨请求泄露：155个响应命中他人数据