11 月 2 日，Zyphra 发布稀疏注意力方法 Zyphra Hierarchical Attention（ZHA），论文见 arXiv 2610.42112。ZHA 针对的是稀疏注意力里的一个具体缺口：负责挑选 token 的索引器本身仍要扫完整个上下文。论文数据表明，在接近 100 万 token 时，索引开销会占到整层耗时的 60% 到 90%。
树形索引怎么工作
ZHA 把键切成连续块，每块压缩成一个摘要键，摘要再逐层压缩，层级结构一路向上。以块大小 4、6 层计算，一个顶层节点可覆盖 4,096 个 token。摘要来自一组可学习的 reference query，每个 reference query 给出该块注意力质量的切平面估计，取这些平面的最大值来近似未来查询会分配给该块的注意力。解码时查询先给顶层节点打分，保留覆盖估计注意力质量比例 p 的最小节点集合，再逐层展开到原始 KV 条目。top-p 路由让预算自适应：单点事实查询只碰少数分支，需要零散多事实的查询则展开更多。
只训 8.2 万参数换来什么
在 Qwen3.6-35B-A3B 上，ZHA 增加了 81,920 个可训练参数，约占模型总量的 0.00024%，主干全程冻结，只用约 40 亿 token 做 KL 蒸馏就能挂载上去。结果是 AIME 2026 得 91.2 对稠密的 93.1，SWE-bench Verified 67.4 对 67.4，MMLU-Pro 85.3 对 84.9，LongBench v2 得 63.4 反超稠密注意力的 58.0，256K 上下文下 RULER-13 得 93.3 对 96.0；作为对照的 MiniMax Sparse Attention 在 RULER-13 上只有 77.1。
速度方面需要留意口径：Zyphra 没有发布优化内核，论文里的加速是基于 H100 BF16 roofline 的建模推算，10 亿 token 处推算的加速比是稠密注意力的 373 到 417 倍，而在 256K 长度上实际收益温和，帕累托前沿配置相对稠密只有 1.93 到 2.28 倍。训练上，Qwen 与 Nemotron 实验用了 39.8 亿 token、1,900 步、32K 上下文，低于 10 亿参数的模型在转换阶段表现挣扎。稀疏注意力这条路线本身在开源圈已有多个方案并行，阶跃的 6000 亿稀疏 MoE 开放权重可作为对照来看待。
延伸阅读
- Hydrogen-1.0：753B 参数科学模型跑分 38.3%1 天前
- 讯飞星火 X2.6 发布：293B-A30B 端云一体，1M 上下文2 周前
- 腾讯混元 Hy4 正式版：770B 参数首现视觉与电脑操作4 小时前
- MoE训练步提速34%，Prime Intellect发布融合内核4 天前
继续读
同一批更新里这几篇值得一看：
- 英伟达优化 Ling-3.0-flash 推理：吞吐提升 42.5%2026-11-04
- Anthropic 工程师警告 AI 依赖：3 层状态走向认知投降2026-11-04
- MoE训练步提速34%，Prime Intellect发布融合内核2026-10-31