Clover-35B-A3B 扩散语言模型：680 tokens/s 与 SWE 73.6

一句话结论：扩散智能 DiffuSpace 在 10 月 28 日开源的 Clover-35B-A3B-Preview 是目前参数规模最大的开放权重扩散语言模型，350 亿总参数、每 token 激活 30 亿，在单张 GB300 上跑出 680 tokens/s 的整体生成速度，同时在六项 Agent 评测全部拿下对比组第一，SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3，权重与代码以 Apache 许可发布。

扩散语言模型这个品类沉寂了两年。2025 年 4 月，香港大学 NLP 实验室发布 Dream 7B，证明扩散路线能在正面交锋里站住脚，累计在 Hugging Face 拿到 270 万次下载。扩散智能的团队正是从 Dream 出发组建的，这家 2026 年 3 月在深圳注册的公司，由孔令鹏教授与龚珊三、叶佳成等人联合创立，此前已在 2022 年系统研究扩散语言模型，推出过 DiffuSeq 与 Dream 7B。

Clover 要回答的问题比 Dream 更大。Dream 7B 证明小尺寸扩散模型能打，Clover 要证明的是当参数走向更大规模，扩散语言模型还能不能守住速度优势。

块扩散与自回归的差别在哪

自回归模型从左至右逐个生成 token，每吐一个新 token 都要等前一个落地。扩散语言模型走的是另一条路，从存在大量空缺的文本出发，同时预测多个位置，再通过多轮迭代逐步减少不确定性。块扩散这个折中方案是 Clover 真正采用的方式：模型在当前文本块内并行补全内容，块完成后纳入后续生成所参考的上下文，块内引入双向信息交互，块与块之间保留先后关系。

并行生成不等于一次写完全文，也不天然带来更强的推理能力。并行处理多少内容、需要多少轮迭代、速度与准确率如何取舍，都取决于模型结构和推理系统的设计。Clover 的做法是把块扩散的粒度直接写进了架构。

架构底座是 Qwen3.6-35B-A3B，一个混合 Gated DeltaNet 与全注意力的 MoE 结构。官方把这次重构拆成三个具体动作。

第一，历史记忆与块内去噪走不同的计算路径。已经生成的上下文通过 GDN 的递归状态高效压缩，当前块内的 token 通过双向 Softmax 注意力做细粒度交互。第二，历史记忆的读出被当作一个独立的信息单元，与块内 token 放在同一次 Softmax 中共同参与信息选择，模型自己学出什么时候该依赖历史、什么时候该用当前块。第三，针对右侧上下文加了独立的零初始化卷积分支，让模型从预训练的因果卷积行为出发，直接学出左右方向各自的特征。

此外还有一项可学习的块大小校准，用来补偿块内 token 增多时对历史权重的天然稀释。上下文长度 131072 token，即 128K。

六项 Agent 评测全部第一

官方给出的对比表覆盖六项 Agent 基准，Clover 在每一项上都是被测模型里的最高分。跨过的是同为扩散模型的 LLaDA2.2 flash 与 Mercury 2.5，以及同尺寸的自回归模型 Qwen3.6-35B-A3B 与 Qwen3.5-35B-A3B。

通用能力这边，ZebraLogic 拿到 95.8，AA-LCR 长上下文理解 72.0，MMLU-Pro 84.8。指令遵循、知识、逻辑推理与长文本理解几项，官方口径是达到或超过同规模自回归模型。

把这张表和 Nanbeige4.3-33B 的 Terminal-Bench 80.9 放在一起看会更有意思。同样是 33B 量级的开放权重模型，Clover 在 SWE-bench 上的优势明显，终端操作一项却还有 29 分以上的差距。两家走的路子不同，Clover 把筹码压在并行生成的速度上，Nanbeige 是稠密架构全量激活的教师模型路线。

速度数字与它们的实际含义

速度是这篇发布稿最硬的部分。单张 NVIDIA GB300，BF16 精度，batch size 等于 1，内部 Agent 任务记录的整体生成速度 680 tokens/s。单张 H200 上，Agent 任务跑到 515 tokens/s，而同尺寸 Qwen 模型用 DFlash2 加速方案是 365 tokens/s。

端侧的数字更接近普通开发者能摸到的场景。Clover 已经在仅 16GB 显存的 NVIDIA RTX 5070 Ti 上完成 INT4 量化部署，MATH-500 测试下生成速度 101.8 tokens/s，同规模 MiniCPM、Qwen 的对照结果是 48.5 tokens/s。对照组的选型也说明意图：MiniCPM-V 4.7（35B-A3B）、LFM2.5（24B-A2B）、Nemotron 3.5 Lightning（30B-A3B）、Gemma 4（26B-A4B），九项评测里 Clover 拿下六项最高分。

速度对智能体意味着什么，看两组官方演示数据更直观。

路径规划案例里，任务是从匹兹堡 CMU 找最近的 Wendy's 并查驾车时间。地图搜索不带位置信号，直接搜店名会跳到缅因州 Portland。Clover 识别出结果偏离目标，逐步加入城市、街区和邮编改写检索，页面卡住后两次重置重填，最终找到正确门店，驾车距离 2.0 公里、车程约 3 分钟。对照的 Qwen3.6 Flash 用满 30 步、耗时 578.3 秒，停在距起点 347 公里、车程约 4.5 小时的门店，判定为未通过。Clover 用 28 步、169.9 秒完成。这个差距放在 投机解码给自回归模型提速 的语境里看更清楚，两条路线解决的是同一个延迟瓶颈。

复合报文并行解析案例是另一类。城市低空无人机调度要把空管报文拆成禁飞区解除、航点修改、任务分配、半径调整、紧急调度五项任务。Clover 在 0.97 秒后同时给出五项正确结果，Qwen 在 3.78 秒展示结果，并把 UAV5 的测绘任务误解析为医疗任务。

还有一个数字来自第三方评测。WindTunnel 在 49 项任务、每项 3 次尝试的设置下测出，Clover 的 Agent 执行耗时中位数是 1.52 秒，惯以速度著称的 Jev 加 Mercury 2.5 组合是 3.21 秒，是前者的 2.1 倍；同一次评测里 Gemini3.6 Flash 是 8.86 秒。尝试成功率 98.6%，对照组 95.9%。

速度优势的另一面是延迟累积。智能体要在决策、执行、反馈与调整之间持续循环，每一步的生成延迟都会沿着任务链路累加。这条链路上每一步快一点，同一时间窗内智能体就能探索更多路径。这解释了为什么一个以并行生成为核心的架构，在 Agent 场景的收益比在闲聊场景大得多。

决策模型：一次答八题

与主模型同步发布的还有一个面向快速结构化判断的决策模型，支持两种作答方式。独立模式逐题调用，每次只回答一个问题。联合模式把同一份材料下的多个问题放在一起，在同一次去噪过程中并行生成答案，每次最多 8 个。

联合模式的价值在于全局统筹。多个判断在生成过程中可以相互参照，避免逻辑冲突，也省去多次交互与重复读取材料的开销。官方给的内部验证数据是 500 组、2420 道关联问题，联合模式答对 95.0% 的问题，在 80.4% 的问题组里全部答对。同一模型独立作答时两项成绩是 89.8% 与 62.4%，TypeSafe 的 Jev 在相同题目上历史评测为 63.6% 与 15.8%。

合同判断是解释这个差异的好例子。同一份合同里，通知是否及时与保证金是否应保留存在规则依赖。逐题独立判断时，模型可能一边认为通知超时，一边又选择只有通知及时才允许的保留保证金。联合模式把两个判断一起生成，官方案例里 5 项判断全部正确，独立模式答对 4 项，Jev 答对 2 项。

怎么部署

部署路径目前有三条。Hugging Face Transformers 独立推理，官方示例要求 transformers 5.19.0 与 PyTorch 2.10 以上，BF16 权重约 69GB，需要一张能装下权重加推理状态的显卡。SGLang 用于服务与评测，同时支持块扩散去噪与自投机解码。llama.cpp 用于本地推理，走自投机解码路径。官方推荐用 SGLang 做服务与评测。

模型卡片里给出的一行代码就是标准入口，max_new_tokens 给了 24576，支持思考模式。权重在 Hugging Face 与 ModelScope 均已发布，代码在 GitHub 上开源，采用 Apache 许可。在线体验入口在 chat.diffuspace.ai。

生态侧，GenUI 方向的独家伙伴 SigmaZ 已上线教育场景内测 Demo。官方接下来计划与伙伴做联合后训练，目标把 token 吞吐量推到 2000 tokens 每秒，并把实时视觉编码接入更通用的实时交互场景。扩散路线并非孤例，本站此前记录过 Hy-Nomas 用 20.53 GiB 显存跑 8B 世界模型 的同源思路。团队还在开发智能体运行框架与编程客户端，把需求输入、工具调用、任务执行和结果查看串起来。

常见问题

Clover 和普通的 Qwen 35B 怎么选

看你的负载形状。任务是短、结构化、频繁往返的工具调用与报表生成，扩散并行生成带来的单步延迟优势会被放大，长链路任务的完成时间差距明显。任务是长文本写作、深度推理、多轮对话，自回归模型的生态、量化方案与推理框架成熟度仍然更占优，Clover 的参数规模优势未必能兑现。

扩散语言模型的能力天花板在哪

目前仍在官方自报口径。Clover 的六项 Agent 评测全部第一，但对照组是同尺寸模型而非同代旗舰模型，跨代对比还缺公开评测支撑。决策模型的 500 组内部验证也没有第三方复现，长程任务稳定性被官方列为下一步要解决的问题。

16GB 显卡能跑起来吗

能，但要用 INT4 量化版本。官方已完成在 16GB 显存的 RTX 5070 Ti 上的 INT4 量化部署，MATH-500 下 101.8 tokens/s。BF16 全精度需要约 69GB 权重，单卡跑不动。想在本地跑全精度，得考虑多卡切分，参考 Recursive Flint 40B 在 48GB 内存 MacBook 上本地跑 的思路。

相关阅读

• Mercury 3 扩散式大模型发布：每秒 1068 token、1M 上下文
• FlashMap 投机解码：Qwen3-8B 加速 6.14 倍与 16 token 草稿
• Liquid AI LFM3 发布：6 款 2B 模型 22T Token 预训练
• Hy-Nomas 拆解：8B 世界模型用 20.53 GiB 显存跑 100 秒