Qwen3.8-Flash-Next 深度解读:全新架构提前释出,125B MoE 训练成本砍到 1/9
事件发生日期:2026-08-26(长期词放宽:Qwen3.8-Flash-Next 是 Qwen4 架构预览,站内科苑空白,属「XX 是什么 / 怎么用 / 与 YY 对比」类长期搜索词)
导语
Qwen3.8-Flash-Next 是阿里巴巴通义千问团队在 2026 年 8 月 26 日开源权重的多模态 MoE 大模型,同时充当 Qwen4 全系架构的先导预览:Qwen4 将在这套结构上构建完整模型家族。与上一代 Qwen3.7-Plus 相比,它用约 1/9 的训练成本实现了更强的编码和办公智能体能力,激活参数仅 6B,却能在多个权威基准上超越 27B 的 Qwen3.8-27B 与 397B 的 Qwen3.7-Plus。每一百万 Tokens 输入仅 0.8 元、输出 2.7 元,在千问 AI 平台直接可用。
一、为什么发布一个「Flash-Next」版本
通义千问从 Qwen3-Next 开始引入 Gated DeltaNet + Gated Attention 混合结构,该设计随后被 Qwen3.5、Qwen3.6、Qwen3.7 与 Qwen3.8 全系列采用。这次团队决定在 Qwen4 完整模型家族上线之前,提前开源结构改动,让社区先对新技术进行检验,再在 Qwen4 中正式固化。这是继 Qwen3-Next 之后,通义千问第二次采用「先跑架构预览、再上完整系列」的发布节奏。
Qwen3.8-Flash-Next 主模型总参数量 125B,额外配备 51B 的 N-gram Embedding(可卸载到主机内存并异步预取),每 Token 激活 6B 参数。上下文原生支持 262,144 tokens,配合 YaRN 可扩展至 1,000,000 tokens。
二、四大架构升级:Attention → Residual → Embedding → Optimization
2.1 Attention:GDN + QSA 混合架构
长上下文场景下,全序列 Attention 的计算开销是主要瓶颈。Qwen3.8-Flash-Next 采用 Gated DeltaNet(GDN)+ Qwen Sparse Attention(QSA) 混合架构解决这一问题:
– Gated DeltaNet(GDN):高效压缩历史信息,减少重复存储与计算;
– Qwen Sparse Attention(QSA):通过压缩式轻量 Indexer,在 micro-block 粒度上筛选重要上下文,实现显著降低长序列 Attention 开销的同时保留关键信息。
两者配合,使 26 万上下文不再成为计算负担。
2.2 Residual:Gated Residual 四分支动态门控
传统 Transformer 每层残差流只有一条通道,信息传递方式单一。Qwen3.8-Flash-Next 将残差流扩展为 4 条独立分支,引入 动态 Gate 机制控制每条分支的信息读写比例。这一设计显著增强了跨层信息传递效率与训练稳定性——模型可以在不同层、不同任务阶段自适应地决定保留多少旧信息、写入多少新信息。
2.3 Embedding:N-gram Embedding 扩展模型容量
N-gram Embedding 利用局部上下文进行查表,以很小的额外计算开销扩展模型有效容量。关键特性:
– 51B 额外参数量,但 Embedding Table 可卸载至 Host Memory,并通过异步 Prefetch 与模型计算重叠,实际显存占用可控;
– 扩展的是「查表」能力而非计算量,在不显著增加推理成本的前提下提升模型对短语、实体和常见模式的记忆能力。
2.4 Optimization:Muon Optimizer + 重新拟合 Scaling Law
训练阶段采用 Muon Optimizer,围绕三个核心策略优化:
1. 正交化精度:保证参数更新方向的正交性,减少梯度干扰;
2. Muon 与 AdamW 的参数分工:不同参数组使用不同 Optimizer,各司其职;
3. 融合参数拆分:降低分布式训练中的通信开销。
此外,团队针对新架构重新拟合了 Scaling Law,确保在扩展至 Qwen4 规模时能准确预测性能曲线。
三、基准测试:6B 激活参数超越多款大模型
3.1 纯文本任务
| 基准 | Qwen3.8-Flash-Next | Qwen3.8-27B | Qwen3.7-Plus | DeepSeek-V4-Flash-0731 | Claude-Opus-4.6 Max |
|---|---|---|---|---|---|
| 总参数量 | 125B | 27B | 397B | 284B | — |
| 激活参数量 | 6B | 27B | 17B | 13B | — |
| DeepSWE 1.1(Agent 编程) | 58.7 | 42.2 | 16.5 | 54.4 | — |
| SWE-bench Pro | 62.5 | 61.7 | 55.8 | 56.0 | 53.4 |
| SWE-bench Multilingual | 81.0 | 73.8 | 75.8 | — | 77.5 |
| NL2Repo-Bench | 48.1 | 42.3 | 41.1 | 54.2 | 47.6 |
| CoWorkBench(长程办公) | 73.9 | 70.7 | 65.1 | 45.1 | 68.2 |
| JobBench(专业任务) | 55.7 | 33.4 | 27.6 | 41.3 | 36.6 |
| Agents’ Last Exam Pass@1 | 24.3 | 20.4 | 13.2 | — | — |
| Toolathlon Verified Pass@1 | 73.5 | 67.1 | 50.6 | 70.3 | — |
| IFBench(指令遵循) | 81.3 | 79.5 | 79.1 | 79.2 | 62.5 |
| GPQA Diamond(科学推理) | 91.7 | 89.2 | 90.3 | 90.8 | 91.3 |
| LiveCodeBench v6(编程) | 91.9 | 90.3 | 89.6 | 90.6 | 88.8 |
> 数据来源:Qwen 官方技术报告,评测温度 temp=1.0、top_p=0.95、上下文窗口 256K。
核心结论:Qwen3.8-Flash-Next 以 6B 激活参数在编码(DeepSWE 1.1 +4.3、LiveCodeBench +1.3)、智能体(JobBench +14.3、Toolathlon +3.2)、多语言编程(SWE-bench Multilingual +5.2)三项关键指标上领先所有对照模型。397B 激活 17B 的 Qwen3.7-Plus 在多数指标上反而落后。
3.2 多模态任务
| 基准 | Qwen3.8-Flash-Next | Qwen3.8-27B | Qwen3.7-Plus | Claude-Opus-4.6 Max |
|---|---|---|---|---|
| ClawEval-MM Pass@3/Avg | 64.4 / 60.4 | 57.4 / 56.9 | 57.4 / 60.1 | 52.5 / 54.7 |
| RecreationBench(应用复现) | 49.9 | 47.1 | 30.2 | — |
| AndroidWorld(移动 Agent) | 84.5 | 81.9 | 81.0 | 62.0 |
| OSWorld 2.0 Binary/Partial | 19.4 / 52.3 | 19.4 / 48.0 | 2.8 / 21.5 | — |
| Vision2Web | 64.0 | 62.9 | 42.1 | — |
| ERQA(具身智能) | 72.3 | 65.5 | 69.8 | 40.8 |
| LVBench(长视频理解) | 76.6 | 72.4 | 76.2 | 63.0 |
| RealWorldQA | 88.5 | 85.9 | 86.9 | 73.9 |
| MathVision(视窗数学) Without CI | 90.6 | 90.0 | 90.3 | 65.5 |
多模态方面,Qwen3.8-Flash-Next 在移动 Agent(AndroidWorld +2.6)、计算机操作(OSWorld Binary +0)、视觉网页开发(Vision2Web +1.1)和具身智能(ERQA +2.5)上均有提升。
四、上下文与价格:26 万上下文、百万 Token 仅 0.8 元
Qwen3.8-Flash-Next 原生支持 262,144 token 上下文,通过 YaRN 可扩展至 1,000,000 token(100 万),适用于超长文档分析与多轮复杂任务。
在千问 AI 平台(qwen.ai)可直接调用默认 1M 上下文的生产级版本 Qwen3.8-Flash,定价如下:
| 规格 | 价格(每百万 Tokens) |
|---|---|
| 输入 | 0.8 元 |
| 输出 | 2.7 元 |
对比:Qwen3.8-Omni-Flash 音视频 API 输入降幅超 93%,Qwen3.8-Flash 则是纯文本性价比最高档位。
权重已开源至 Hugging Face 与 ModelScope,技术报告见 GitHub 仓库。
五、FAQ
Q1:Qwen3.8-Flash-Next 和 Qwen3.8-Flash 是什么关系?
Qwen3.8-Flash-Next 是开源权重预览版,展示 Qwen4 架构的技术细节;Qwen3.8-Flash 是千问 AI 平台上的生产级服务版本,默认 1M 上下文、内置官方工具,面向 API 用户。两者的核心架构一致,但应用形态不同。
Q2:6B 激活参数如何超越 27B 稠密模型?
MoE(Mixture of Experts)架构的核心优势在于:虽然总参数量大(125B),但每处理一个 Token 只激活 6B 参数的专家网络,剩余参数保持沉默。对比 27B 稠密模型(Qwen3.8-27B)每次推理激活全部 27B 参数,Flash-Next 用更少的激活参数实现更精准的路由选择,在编码、办公等专项任务上效率更高。
Q3:Gated DeltaNet 和传统 Attention 相比,优势在哪里?
传统全序列 Attention 需要对每一个历史 Token 计算 Query-Key-Value 乘积,成本为 O(n²)。GDN 通过门控机制压缩历史信息,降低记忆冗余;QSA 在 micro-block 粒度做稀疏筛选,只对重要上下文计算全 Attention。两层压缩叠加,使 26 万 token 的长序列场景计算量大幅降低,同时保持对关键信息的完整感知。
相关阅读
– Qwen3.8-Omni-Flash发布:原生全模态Agent,29项基准涨25%
– Qwen-Drive-1.0:首个统一3D感知与运动规划的自动驾驶视觉-语言模型
– Qwen3.8-LiveTranslate深度:Interleave架构把同传延迟压到2.3秒
– Qwen-Image-2.1深度:7B参数实现文生图与编辑大一统
– DeepSeek V4.1 Flash发布:552B MoE、KV缓存缩437倍
小结
Qwen3.8-Flash-Next 是通义千问团队一次罕见的「架构提前透明化」操作:开源权重、公布全部技术细节,让社区在 Qwen4 正式发布前就有机会验证新架构的实际效果。四大升级(GDN+QSA 混合 Attention、Gated Residual、N-gram Embedding、Muon Optimizer)共同实现了「更少激活参数、更强专项能力、显著更低训练成本」的三重目标。125B 总参数量配合 6B 激活、26 万上下文与 0.8 元/百万 Token 的定价,让它成为目前开源与性价比兼顾最具竞争力的模型之一。随着 Qwen4 在此架构上扩展完整系列,这套设计方向的有效性也将得到最终验证。
延伸阅读
- 阿里云海外发布 Qwen Cloud 与 MuleRun:Qoder 1.0 用户超 500 万,60+ 云产品完成 Skill 化3 周前
- Qwen3.8-LiveTranslate深度:Interleave架构把同传延迟压到2.3秒11 小时前
- 千问首款AI耳机亮相NBA中国赛:耳夹+Bose调音,10月13日正式开售4 天前
- HappyOyster 1.0系列模型上架阿里云百炼:Adventure实时生成开放世界,Directing驱动剧情镜头3 周前
