EdgeRock-4B 开源：72 MiB 固定 KV，AIME 82.9 分

一句话结论：EdgeRock-4B 把每条序列的 KV Cache 固定在 72 MiB 不再增长，一张 80GB 卡换来 512 路并发，代价是 AIME 比源模型低约 3.7 个百分点。

大模型推理的显存账，绕来绕去都绕不开同一个数字。Qwen3.5-4B 每生成一个 token，KV Cache 就多涨 32 KiB。上下文推到 64K，一条序列占 2 GiB；推到 256K，就是 8 GiB。想在一张 80GB 卡上同时跑 512 路这样的长推理，光是生成结束时的 KV Cache 就要 1 TiB，相当于 13 张卡的总显存。

岩芯矩阵（Rock Matrix）联合香港科技大学、卡内基梅隆大学等机构给出的解法，是把这条曲线彻底拉平。2026 年 10 月 26 日披露的 EdgeRock-4B 用三段式结构替换了全注意力层，历史状态总量恒定在 97.76 MiB，其中注意力 KV 部分 71.97 MiB，官方口径是比源模型在 256K 上下文下少 99.1%。技术报告 10 月 7 日挂上 arXiv，10 月 16 日更新到 v2；模型权重与推理代码同步开源，仓库在十天内积累 653 个 star。

这篇文章拆开三件事看：这 72 MiB 到底是怎么算出来的、固定内存之后能力掉了多少、以及它与市面上那批「压缩 KV」方案的根本差别在哪。

72 MiB 是怎么算出来的

先看内存账单。EdgeRock-4B 的持久历史由五个部分构成：递归状态、局部窗口 KV、已提交锚点库、待定候选块和进度元数据。所有部分的容量都是硬上限，因此总占用与序列长度无关。

已提交锚点的 32 MiB 是这样推出来的：2（键和值）× 8（RMA 模块数）× 4（KV 分组数）× 1024（每组保留条数）× 256（头宽）× 2 字节（BF16），等于 32 MiB。待定候选块按 256 条一格算，额外占 8 MiB。两块加起来 40 MiB 就是 RMA 的全部开销；1024 位置的局部窗口按同样口径算出来是 32 MiB，注意力 KV 因此锁定在 72 MiB。

这个数字的对比对象是 Qwen3.5-4B。同样是 8 个注意力层、4 个 KV 头、相同头宽和 BF16 精度，源模型在 256K 上下文下的注意力 KV 约为 7.25 GiB。72 MiB 与它相比，差距是 99.1%。

值得留意的是递归矩阵那一行的精度。技术报告写明 GDN 状态在批大小为 1 时用 FP32、其余情况用 FP16，而 KV 本身保持 BF16。递归矩阵占了 24 MiB，是四大块里唯一的精度分叉点，官方给出的解释是批处理下用 FP16 换吞吐，单请求时用 FP32 保精度。批量场景的吞吐数据建立在这个设定之上。

架构：递归、局部窗口与记忆锚点三件套

EdgeRock-4B 的底座是 Qwen3.5-4B 的预训练权重，原有 8 个全注意力层被替换，层模式变成 GDN、GDN、GDN、SWA 1024 并联 RMA 重复 8 次。配置文件里能直接读到这个排布：32 层总深度中，第 3、7、11、15、19、23、27、31 层为滑动窗口注意力，full_attention_interval 设为 4。

三段结构各管一段。Gated DeltaNet 负责把历史压缩进固定维度的递归矩阵；1024 位置的滑动窗口负责承接最近的细节；Rock Memory Anchors（RMA）负责保住那些远处但后续推理还要用的信息。论文强调这三者缺一不可，实验数据也支持这个判断。

RMA 的工作方式分两步。第一步是写入，一个独立的小网络给每个 KV 分组打保留优先级分数：分数由无偏置的 2560 到 256 再到 4 的投影链算出，走 FP32，四个分组各自独立挑出得分最高的记录，不同分组之间允许命中同一批源位置。第二步是读取，16 个查询头在 4 个 KV 分组上做检索，头维度 256，查询与键都用学习到的 RMS 归一化，部分旋转编码作用在 256 维中的 64 维上、基底为 10 的 7 次方，值不做旋转也不做归一化。

这里有个容易被忽略的设计取舍。已提交锚点每组保留 1024 条记录，够不够用取决于模型学不学得会挑。报告第 3.2 节给出的逻辑是：分数最高的记录留在已提交库里，候选项先攒到一个块（256 条）再提交，每组最终稳定在 1024 条已提交加 256 条候选的规模上。RMA 模块本身带 372M 参数，约占 4B 总规模的 9%。

从模型配置文件能看到更多细节：隐藏维度 2560、MLP 中间层 9216、词表 248320、最大位置编码 262144、rope_theta 为 10000000、线性注意力部分键头 16、值头 32、卷积核 4、SSM 状态用 float32。数字显存和常量显存两类权重都在开源仓库里，EdgeRock-4B 另有 NF4 与 INT8 量化版本可选。

能力：固定内存下保住 96% 的源模型推理

最直接的对照是源模型自己。EdgeRock-4B 从 Qwen3.5-4B 权重出发，把全注意力换成局部窗口加固定锚点库之后，竞赛数学能力保留了多少。

三年均值掉 3.2 个百分点，换来 99.1% 的 KV 缩减。这个交换比在需要长上下文推理的场景里相当划算，站内此前拆解过 DeepSeek V4.1 Flash 的 KV Cache 缩减 437 倍，两者解决的是同一个显存墙，只是路径不同。EdgeRock 走的是把历史结构彻底固定，DeepSeek 走的是压缩单条记录的信息量。

和体量更大的常驻内存模型对比时，差距同样不明显。AIME 2024 到 2026 的均值 82.9 分落在 Granite4.2-3B 的 82.2 分和 Qwen3.5-4B 的 86.1 分之间，略低于 MiniCPM5-2B 的 87.8 分，明显高于 Nemotron-3-Nano-4B 的 57.1 分、LFM2.5-2.6B 的 56.2 分、Gemma4-E4B 的 40.1 分和 Phi-4-mini-reasoning 的 38.9 分。在 MMLU-Pro 和 Super GPQA 这类偏知识密集的推理上，EdgeRock 相对 MiniCPM5-2B 的优势更大，29 项文本基准里有 8 项反超源模型，其中包括 MMLU、HumanEval 和 MBPP。

视觉侧一并保住了。文本加图像的推理在六个视觉基准上等权均值 84.9 分，源模型 89.1 分，保留率 95.3%。分项看，MMBench 英文 88.3 对 90.1、中文 89.0 对 91.4、POPE 85.4 对 88.8、MME 83.0 对 86.8、ChartQA 83.9 对 90.3、AI2D 80.0 对 87.0。图表和示意图理解掉得稍多，事实类视觉问答几乎无损。

真正的对照组：有界状态模型的 18.8 分

把 EdgeRock 拿去和同样宣称恒定内存的模型比，结果才是这篇论文最有冲击力的部分。评测覆盖了 17 个 1.5B 到 14B 的模型，包含更大的 GDN、RWKV 和 Mamba 变体。

29 项文本基准的等权均值上，EdgeRock-4B 领先最强的基线 AHN-GDN Qwen2.5 14B 达 23.8 个百分点。AIME 2024 到 2026 的均值上，EdgeRock-4B 拿到 82.9%，而对照中有界状态模型里最强的 RWKV-7 G1j 13.3B 只有 18.8%，即便规模放到 14B 也到不了这个数。

这个 18.8 分对 82.9 分的落差，恰好说明了固定内存路线过去失败的原因。循环模型与状态空间模型的内存天然是固定的，但压缩状态存不下远处细节，等到推理走到后半程需要回看某个具体数字时，模型已经没东西可读了。RMA 想解决的正是这一环，让模型自己学会哪些信息值得被长期锚定。这个思路和站内 Recursive Flint 40B 只激活 2.5B 的稀疏激活路线 有异曲同工之处，都是在模型结构层面省显存。

消融：关掉 RMA 会发生什么

技术报告做了一组推理期消融，把全部 8 个 RMA 模块关掉，保留递归主干和局部注意力。结果是 1024 道查询的正确回答从 964 道掉到 4 道，256 个上下文场景的完整成功率从 205 掉到 0。

因为 RMA 只在推理阶段被关闭，模型训练方式不变，所以这组数据直接证明：在训练好的模型里，远处答案确实经由 RMA 流动，而不是靠递归状态或局部窗口硬扛。

分任务来看，完整上下文成功率在精确检索上是 58/64（90.6%），状态更新理解 56/64（87.5%），跨文档组合 57/64（89.1%），变量绑定只有 34/64（53.1%），四项合计 205/256（80.1%）。配对证据干预这一项更直观：当远处证据变化时答案应当跟着变，256 对里模型两问都答对的有 230 对（89.8%）；当答案本该保持不变时，247 对全部正确（96.5%）。

换句话说，锚点机制没有让模型只记住某个固定答案，它记住了证据本身。变量绑定那 53.1% 是唯一明显的短板，也是目前这套结构最接近能力天花板的地方。

吞吐：一张 80GB 卡跑 512 路长推理

固定内存最直接的收益体现在并发上。所有测试跑在单张 Hopper 80GB 卡上，BF16 权重与 KV，测试设定为 32K 输入、32K 输出，只计输出 token，耗时含预填充。

括号内是各自的最优批大小。32K 输入下 EdgeRock-4B 的 12124 tokens/s 是 Qwen3.5-4B 最快配置 1889 tokens/s 的 6.42 倍。4K 到 32K 四种输入长度上，EdgeRock 平均是 Qwen3.5-4B 的 4.94 倍、LFM2.5-2.6B 的 7.18 倍。

原因很直白。Qwen3.5-4B 在 32K 输出后每条序列占用 2 GiB 注意力 KV，一张 80GB 卡塞下几十条并发就满了，后面的请求只能排队。EdgeRock 每条序列的历史恒定 97.76 MiB，512 条全部跑完输出时显存峰值也只有 61.26 GiB，其中还包含模型权重。

单请求长生成的表现同样稳定。128K 输入之后再生成 128K token，速度从头到尾稳在 233.7 tokens/s，是同工况下 Qwen3.5-4B 的 1.54 倍。254K 输入加 2K 输出的组合里，EdgeRock 解码 226.6 tokens/s，Qwen3.5-4B 是 133.9，差距 1.69 倍。批大小为 1 时峰值张量分配 14.27 GiB，单条 128K 输入加 128K 输出的请求峰值 16.02 GiB。

另一层价值在成本侧。推理侧的单位成本跟着并发数直接摊薄，站内 商汤大装置用 PD 分离把异构集群吞吐拉高 5 倍、llm-d 1.0 在 17000 节点上把首 token 延迟砍掉 85%，解决的是集群调度层面的效率；EdgeRock 解决的是单卡上并发密度的物理上限。两条线可以叠加。

许可证：代码 Apache 2.0，权重另有一份补充条款

开源仓库的许可分两层，这一层需要留意。推理与评测代码走标准 Apache 2.0，权重走的是 EdgeRock Model License 1.0（版本日期 2026 年 10 月 7 日），许可方为岩芯矩阵。这份补充条款叠加在 Apache 2.0 之上，冲突时以补充条款为准。

补充条款只有一条限制：未经许可方书面授权，不得把模型权重整体或以功能权重块的形式物理固化进芯片不可重新编程的物理结构里，也不得委托做这类流片。这里的物理固化指的是把权重值或等价表示永久编码进特定电路拓扑、掩模 ROM 或固定物理系数中，改动需要重新流片而非写数据。

其余权限相当宽松。商用、收费 API、SaaS、私有部署与离线部署都允许，且不需要额外的商业授权、收入门槛或用户数门槛。模型输出可用于合成数据，也可以拿去训练其他模型，不要求披露应用代码、训练数据或业务流程。底座来自 Qwen3.5-4B，原视觉前端权重、分词器与处理器资产保持 Apache 2.0。

换句话说，AI 硬件厂商想把这套权重烧进芯片需要单独谈，除此之外的场景基本等同于 Apache 2.0。这一点比多数开源模型权重更清晰，也比某些带月活门槛的社区许可证更省心。

岩芯矩阵的三段路线图

EdgeRock 只是一条线。岩芯矩阵的技术白皮书把整体拆成三块：EdgeRock 负责固定内存，DiffusionRock 走并行生成，把一个块一次生成出来再经过多轮精修，路线从快速文本生成延伸到任意模态；SiliconRock 则把主权重做进电路，把固定容量状态放进片上 SRAM，目标是单个用户每秒一百万 token。

论文里也留了一句观察：并发扩展到 512 路时加权解码吞吐从 4128 涨到 12497 tokens/s，中间在批大小 256 到 320 之间有一个不升反降的小回落，之后才继续爬升。这种非单调曲线通常意味着某个资源维度先触顶再释放，官方没有解释成因。留意这个细节有助于判断这套架构的扩展上限在哪里。

小结

EdgeRock-4B 真正的贡献是把长期记忆这件事从「压缩多少」变成了「保留哪些」。压缩路线降低单 token 成本，但缓存照样随推理长度增长；锚点路线让总占用从一开始就是常数，代价由模型自己通过学习承担。

82.9 分的 AIME 三年均值，99.1% 的 KV 缩减，512 路并发，12124 tokens/s。这四个数字摆在一起，常驻内存路线第一次看起来不再是一个纯粹的妥协方案。

常见问题

EdgeRock-4B 和 Qwen3.5-4B 的关系是什么？

EdgeRock-4B 基于 Qwen3.5-4B 的预训练权重继续训练而成，把 8 个全注意力层换成局部窗口加独立记忆锚点模块。代码与权重分属两套许可，代码是 Apache 2.0，权重带一条禁止物理固化进芯片的补充条款。

固定内存会不会让长上下文推理的召回能力崩掉？

不会大幅崩掉，但也不是没有代价。推理期关掉全部 RMA 模块，正确率会从 964/1024 掉到 4/1024，说明远处答案确实依赖锚点。保留 RMA 后，精确检索成功率 90.6%，跨文档组合 89.1%，变量绑定 53.1% 是最弱的一环。

99.1% 的 KV 缩减在什么前提下成立？

前提是同一张 Hopper 80GB 卡、BF16 精度、上下文推到 256K。72 MiB 是注意力 KV 的口径，总持久历史是 97.76 MiB，其中包括 24 MiB 的递归矩阵和 25.50 MiB 的递归状态。跟只做 KV 量化的方案相比，EdgeRock 的收益在于不随序列长度增长，量化方案的成本仍会随长度线性增加。

相关阅读

• DeepSeek V4.1 Flash 深度解读：8B 输入激活、KV Cache 缩 437 倍
• TokenGate 长上下文预填充提速 11.3 倍，斯坦福伯克利开源门控剪枝
• Recursive Flint 开源：40B 只激活 2.5B，本地跑 131 tok/s
• 商汤大装置日均 6 万亿 Token：PD 分离把异构集群吞吐拉高 5 倍
• llm-d 1.0 发布：17000 节点吞吐提升 2.9 倍，首 token 延迟砍掉 85%