Zyphra ZHA 稀疏注意力：8.2 万参数与 373 倍加速推算

Zyphra 发布的方法 Zyphra Hierarchical Attention（ZHA）用一棵自顶向下遍历的树状索引来挑选稀疏注意力要看的 KV 条目，只训 8.2 万个参数就能挂在现成的 35B 模型上，AIME 2026 拿到 91.2 分。论文给出的加速推算是，在接近 100 万 token 的长度上，索引开销会占到整层耗时的 60% 到 90%，这是稀疏注意力路线上一个此前被低估的结构性缺口。

论文《Subquadratic Attention with a Hierarchical Tree-Structured Indexer》由 Zyphra Research 的 Leon Lufkin 与 Cutter Dawes 领衔，Alexander Speicher、Kamesh Krishnamurthy、Tomás Figliolia、Beren Millidge 共同完成，编号 arXiv:2610.42112，2026 年 10 月 30 日挂出。

稀疏注意力的缺口不在稀疏，在索引器自己

注意力计算在 prefill 阶段是二次复杂度，在 decode 阶段每生成一个 token 都要重读整个 KV 缓存。为了绕开这一点，业界已经试过很多路线。状态空间模型与滑动窗口注意力把全量 KV 换成固定大小的状态，代价是状态在长上下文处饱和，表现随之下降；混合方案在多数层省掉了全量注意力，但只要保留少数几层全注意力，长上下文下这几层就会重新主导开销；序列压缩类方法在 prefill 或 decode 时把多个 token 在线压成一个；KV 淘汰类方法则定期驱逐低价值 token。

这些方法大多只能拿到常数倍的加速，而且在实践中相当脆弱。根本原因是无法提前、平均地判断一个 token 到底有用还是没用。

细粒度稀疏注意力走了另一条路，让每个 query 自己检索属于自己的稀疏 KV 子集。这条路线上，DSA 与 MSA 是代表，结构是先用轻量索引器给每对 KV 打相关性分数，再只对 top-K 的配对做完整注意力。问题在于，索引器自己仍然要扫过整个上下文，也就是说稀疏之后的开销依然带着二次项。

ZHA 要处理的就是这一层。论文给出的判断是：接近 100 万 token 时，索引开销会占到整层耗时的 60% 到 90%，换句话说，之前那些稀疏方法省下的注意力计算，很大一部分被索引器吃回去了。

树形索引是怎么搭的

ZHA 在 KV 缓存之上递归地搭出一棵键摘要树，未来到来的 query 从顶层往下遍历，逐层收窄，最终只对少量保留下来的原始 KV 条目做精确注意力。

键被切成连续块，每块压成一个摘要键，摘要再逐层压缩，层级一路向上。以块大小 4、6 层计算，一个顶层节点覆盖 4096 个 token。摘要并非简单平均，而是来自一组可学习的 reference query，每个 reference query 给出该块注意力质量的切平面估计，取这些平面的最大值来近似未来 query 会分给该块的注意力。

解码时的路由是自顶向下的：先给顶层节点打分，保留覆盖估计注意力质量比例 p 的最小节点集合，再逐层展开到原始 KV 条目。top-p 路由让预算自适应，单点事实查询只会碰少数分支，需要零散多事实的查询则展开更多。

论文强调了一个关键的渐近性质：随着树深逐级增加，路由加最终注意力的总开销在序列长度上是次线性的，整体 Attention 因此达到次二次但仍超线性的扩展。这一步是 ZHA 与前面那些常数倍方案的根本分野。

8.2 万参数换来什么

ZHA 可以廉价地挂到已有预训练模型上，不需要重训主干。在 Qwen3.6-35B-A3B 上，ZHA 增加了 81,920 个可训练参数，约占模型总量的 0.00024%，主干全程冻结，只用约 40 亿 token 做 KL 蒸馏就能完成挂载。

基准表现上，深路由（C4 L6）与宽路由（C256 L1）两种几何在推理、智能体编码与长上下文任务上都与稠密基线处在噪声范围内。唯一的例外是深路由的 RULER-13，93.3% 对稠密的 96.0%，掉了 3 个百分点，而代价是只关注了原始 KV 缓存的 1% 到 6%。

LongBench v2 上 ZHA 反超稠密注意力 5.4 分，这个结果比单纯的持平更有说服力，说明稀疏化在这里不只是一个省算力的妥协，路由本身筛掉了部分噪声。训练细节方面，Qwen 与 Nemotron 的实验用了 39.8 亿 token、1900 步、32K 上下文；论文也提到，低于 10 亿参数的模型在转换阶段表现挣扎。

与 MSA 对照：训练预算差十倍，长上下文仍落后 14 分

论文把 ZHA 与 MiniMax Sparse Attention（MSA）做了正面对照。MSA 用学习到的索引器选出 16 个 128 token 的块，同样使用 Qwen 主干、同样冻结主干，但索引器训练用了 40 亿 token，是 ZHA 的十倍。

结果在 AIME 2026、MMLU-Pro 与 GPQA Diamond 上两者都贴近稠密注意力，差距集中在长上下文检索。LongBench v2 上，MSA 的固定预算大约相当于上下文的 1%，深路由的 ZHA 关注了相近的 1.1% 解码键，却高出 14 分。RULER-13 上，对照的 MSA 只有 77.1 分。

这一组对照把稀疏注意力的竞争维度讲清楚了。注意力稀疏化的胜负手不在训练预算，而在索引结构本身能否随长度扩展。

加速数字需要打折看待

论文有一处必须点明的口径：Zyphra 没有发布优化内核。论文中的加速是基于 H100 BF16 roofline 的建模推算，不是实测的端到端 wall-clock。

这两个数字之间的落差很关键。百万级长度上的 373 倍是渐近性质的外推，256K 这个当下可用长度上的实际收益只有约 2 倍，属于温和改善。论文给出的帕累托前沿配置相对稠密是 1.93 到 2.28 倍，引用时把这两个口径混着说会严重误导。

论文的性能模型把延迟拆成树构建、逐层路由、节点扫描与最终精确注意力四段，每段走 roofline 三项模型，其中特别加了 worker wave 项来刻画有限并行度下的空转。高层剪枝减少了下一层的工作量，副作用是某些阶段并行度不足、SM 闲置，这一项被显式建模了。

几何形状可预测，四参数模型就能拟合

ZHA 的设计空间由 R、C、L、p 四个维度张成，组合起来相当复杂。论文做了一次系统扫描：R 取 1、2、4、16，共 28 种几何配置，在 RULER 的 64K、128K、256K 三个长度上评测，p 覆盖 0.7 到 0.99。

关键观察是，在关注 10% 到 30% 键的区间内，检索表现对几何选择是稳健的；超出这个区间后才会随稀疏度上升而退化，且退化速度取决于顶层压缩率及其在 C 与 L 之间的分配方式。在固定 C^L 等于 4096 的切片上，增加树深反而能在相同稀疏度下撑住更好的检索。更深的几何在固定稀疏度上表现更好，作者据此认为深度本身不是限制因素，并称这是首个在大于 1 的深度上仍与稠密注意力保持接近的层级注意力变体。

为了让效果可预测，论文用四个参数拟合了一个 RULER 准确率模型，形式为稠密基线乘以逐层的指数惩罚乘积，其中层级压缩难度取 log(1 + C^l / R^r)，稀疏度惩罚取 (1-p)^b。四个参数分别控制整体惩罚强度、稀疏敏感度、层级难度敏感度与 reference 容量。留出法交叉验证下，模型在 64K、128K、256K 三个长度上轮流留出，RMSE 为 1.44 个百分点。

换架构与后续展望

ZHA 也被挂到了 Nemotron-3.5-Lightning-30B-A3B 上，用来验证在没有显式位置编码的架构上的适用性。总体上 Nemotron 版本与自身基线在智能体编码基准上表现相当，RULER 上则中等程度落后。

论文在讨论部分提到参数扩展、位置编码处理与长度的渐近扩展三条线，并指出这套方法最终有潜力把有效上下文窗口推到数亿乃至数十亿 token。这个说法目前属于方法论推演，缺少对应的内核实现与实测支撑。

把视角拉远一点看，稀疏注意力这条线上开源圈已经有多套方案并行，阶跃的 6000 亿稀疏 MoE 开放权重可以作为另一个参照。ZHA 的独特之处不在于单点分数，而在于它给出了一条能证明次二次扩展的结构路径，以及一个四参数就能预测精度损失的可插拔模型。对做长上下文基础设施的团队，这两点比任何一次跑分更有实用价值。

常见问题

ZHA 的加速比是实测的吗？

不是。论文没有发布优化内核，加速数据来自 H100 BF16 的 roofline 建模推算。10 亿 token 处 373 至 417 倍是长度的渐近外推，256K 这个实际可用长度上的推算收益是 1.93 至 2.28 倍，落地前需要自己补内核并实测。

8.2 万参数是全部需要重训的部分吗？

是。ZHA 在 Qwen3.6-35B-A3B 上新增 81,920 个可训练参数，约占总量的 0.00024%，主干全程冻结，只需约 40 亿 token 的 KL 蒸馏即可挂载。论文同时指出低于 10 亿参数的模型在转换阶段表现挣扎，方法本身有规模门槛。

ZHA 相比已经商用的稀疏注意力方案，强在哪？

强在索引结构随长度的扩展性。MSA 用十倍训练预算，在 LongBench v2 上仍比 ZHA 低 14 分，RULER-13 只有 77.1 分。ZHA 的对照基准是稠密注意力，LongBench v2 上 63.4 反超稠密的 58.0，而 MSA 这类块稀疏方案在检索类任务上明显退化。

小结

稀疏注意力这条路线真正的分水岭，是索引器自己能不能扩展。ZHA 给出了一个可以论证的结构与一个可以预测的模型，它现在缺的只是一份能跑起来的内核。

顺带提一句，站内此前记录过 MIT 用 0.016% 的权重改动就把 Qwen 的数学分数从 7.9% 推到 48.1%，也记录过 Hy-Nomas 用 20.53 GiB 显存跑 100 秒 8B 世界模型。两件事指向同一个趋势，模型侧的效率优化正在从调权重走向调结构，而结构这条路目前仍然缺可复现的工程实现。

相关阅读

• MIT 权重空间编程：0.016% 权重让 Qwen 数学分 7.9% 推到 48.1%
• Clover-35B-A3B 扩散语言模型：680 tokens/s 与 SWE 73.6
• FlashMap 投机解码：Qwen3-8B 加速 6.14 倍与 16 token 草稿
• Hy-Nomas 拆解：8B 世界模型用 20.53 GiB 显存跑 100 秒