Qwen3.8-Flash-Next 深度解读:全新架构提前释出,125B MoE 训练成本砍到 1/9

Qwen3.8-Flash-Next 深度解读:全新架构提前释出,125B MoE 训练成本砍到 1/9

事件发生日期:2026-08-26(长期词放宽:Qwen3.8-Flash-Next 是 Qwen4 架构预览,站内科苑空白,属「XX 是什么 / 怎么用 / 与 YY 对比」类长期搜索词)

导语

Qwen3.8-Flash-Next 是阿里巴巴通义千问团队在 2026 年 8 月 26 日开源权重的多模态 MoE 大模型,同时充当 Qwen4 全系架构的先导预览:Qwen4 将在这套结构上构建完整模型家族。与上一代 Qwen3.7-Plus 相比,它用约 1/9 的训练成本实现了更强的编码和办公智能体能力,激活参数仅 6B,却能在多个权威基准上超越 27B 的 Qwen3.8-27B 与 397B 的 Qwen3.7-Plus。每一百万 Tokens 输入仅 0.8 元、输出 2.7 元,在千问 AI 平台直接可用。

一、为什么发布一个「Flash-Next」版本

通义千问从 Qwen3-Next 开始引入 Gated DeltaNet + Gated Attention 混合结构,该设计随后被 Qwen3.5、Qwen3.6、Qwen3.7 与 Qwen3.8 全系列采用。这次团队决定在 Qwen4 完整模型家族上线之前,提前开源结构改动,让社区先对新技术进行检验,再在 Qwen4 中正式固化。这是继 Qwen3-Next 之后,通义千问第二次采用「先跑架构预览、再上完整系列」的发布节奏。

Qwen3.8-Flash-Next 主模型总参数量 125B,额外配备 51B 的 N-gram Embedding(可卸载到主机内存并异步预取),每 Token 激活 6B 参数。上下文原生支持 262,144 tokens,配合 YaRN 可扩展至 1,000,000 tokens。

二、四大架构升级:Attention → Residual → Embedding → Optimization

2.1 Attention:GDN + QSA 混合架构

长上下文场景下,全序列 Attention 的计算开销是主要瓶颈。Qwen3.8-Flash-Next 采用 Gated DeltaNet(GDN)+ Qwen Sparse Attention(QSA) 混合架构解决这一问题:

– Gated DeltaNet(GDN):高效压缩历史信息,减少重复存储与计算;
– Qwen Sparse Attention(QSA):通过压缩式轻量 Indexer,在 micro-block 粒度上筛选重要上下文,实现显著降低长序列 Attention 开销的同时保留关键信息。

两者配合,使 26 万上下文不再成为计算负担。

2.2 Residual:Gated Residual 四分支动态门控

传统 Transformer 每层残差流只有一条通道,信息传递方式单一。Qwen3.8-Flash-Next 将残差流扩展为 4 条独立分支,引入 动态 Gate 机制控制每条分支的信息读写比例。这一设计显著增强了跨层信息传递效率与训练稳定性——模型可以在不同层、不同任务阶段自适应地决定保留多少旧信息、写入多少新信息。

2.3 Embedding:N-gram Embedding 扩展模型容量

N-gram Embedding 利用局部上下文进行查表,以很小的额外计算开销扩展模型有效容量。关键特性:

– 51B 额外参数量,但 Embedding Table 可卸载至 Host Memory,并通过异步 Prefetch 与模型计算重叠,实际显存占用可控;
– 扩展的是「查表」能力而非计算量,在不显著增加推理成本的前提下提升模型对短语、实体和常见模式的记忆能力。

2.4 Optimization:Muon Optimizer + 重新拟合 Scaling Law

训练阶段采用 Muon Optimizer,围绕三个核心策略优化:

1. 正交化精度:保证参数更新方向的正交性,减少梯度干扰;
2. Muon 与 AdamW 的参数分工:不同参数组使用不同 Optimizer,各司其职;
3. 融合参数拆分:降低分布式训练中的通信开销。

此外,团队针对新架构重新拟合了 Scaling Law,确保在扩展至 Qwen4 规模时能准确预测性能曲线。

三、基准测试:6B 激活参数超越多款大模型

3.1 纯文本任务

基准 Qwen3.8-Flash-Next Qwen3.8-27B Qwen3.7-Plus DeepSeek-V4-Flash-0731 Claude-Opus-4.6 Max
总参数量 125B 27B 397B 284B —
激活参数量 6B 27B 17B 13B —
DeepSWE 1.1(Agent 编程) 58.7 42.2 16.5 54.4 —
SWE-bench Pro 62.5 61.7 55.8 56.0 53.4
SWE-bench Multilingual 81.0 73.8 75.8 — 77.5
NL2Repo-Bench 48.1 42.3 41.1 54.2 47.6
CoWorkBench(长程办公) 73.9 70.7 65.1 45.1 68.2
JobBench(专业任务) 55.7 33.4 27.6 41.3 36.6
Agents’ Last Exam Pass@1 24.3 20.4 13.2 — —
Toolathlon Verified Pass@1 73.5 67.1 50.6 70.3 —
IFBench(指令遵循) 81.3 79.5 79.1 79.2 62.5
GPQA Diamond(科学推理) 91.7 89.2 90.3 90.8 91.3
LiveCodeBench v6(编程) 91.9 90.3 89.6 90.6 88.8

> 数据来源:Qwen 官方技术报告,评测温度 temp=1.0、top_p=0.95、上下文窗口 256K。

核心结论:Qwen3.8-Flash-Next 以 6B 激活参数在编码(DeepSWE 1.1 +4.3、LiveCodeBench +1.3)、智能体(JobBench +14.3、Toolathlon +3.2)、多语言编程(SWE-bench Multilingual +5.2)三项关键指标上领先所有对照模型。397B 激活 17B 的 Qwen3.7-Plus 在多数指标上反而落后。

3.2 多模态任务

基准 Qwen3.8-Flash-Next Qwen3.8-27B Qwen3.7-Plus Claude-Opus-4.6 Max
ClawEval-MM Pass@3/Avg 64.4 / 60.4 57.4 / 56.9 57.4 / 60.1 52.5 / 54.7
RecreationBench(应用复现) 49.9 47.1 30.2 —
AndroidWorld(移动 Agent) 84.5 81.9 81.0 62.0
OSWorld 2.0 Binary/Partial 19.4 / 52.3 19.4 / 48.0 2.8 / 21.5 —
Vision2Web 64.0 62.9 42.1 —
ERQA(具身智能) 72.3 65.5 69.8 40.8
LVBench(长视频理解) 76.6 72.4 76.2 63.0
RealWorldQA 88.5 85.9 86.9 73.9
MathVision(视窗数学) Without CI 90.6 90.0 90.3 65.5

多模态方面,Qwen3.8-Flash-Next 在移动 Agent(AndroidWorld +2.6)、计算机操作(OSWorld Binary +0)、视觉网页开发(Vision2Web +1.1)和具身智能(ERQA +2.5)上均有提升。

四、上下文与价格:26 万上下文、百万 Token 仅 0.8 元

Qwen3.8-Flash-Next 原生支持 262,144 token 上下文,通过 YaRN 可扩展至 1,000,000 token(100 万),适用于超长文档分析与多轮复杂任务。

在千问 AI 平台(qwen.ai)可直接调用默认 1M 上下文的生产级版本 Qwen3.8-Flash,定价如下:

规格 价格(每百万 Tokens)
输入 0.8 元
输出 2.7 元

对比:Qwen3.8-Omni-Flash 音视频 API 输入降幅超 93%,Qwen3.8-Flash 则是纯文本性价比最高档位。

权重已开源至 Hugging Face 与 ModelScope,技术报告见 GitHub 仓库。

五、FAQ

Q1:Qwen3.8-Flash-Next 和 Qwen3.8-Flash 是什么关系?

Qwen3.8-Flash-Next 是开源权重预览版,展示 Qwen4 架构的技术细节;Qwen3.8-Flash 是千问 AI 平台上的生产级服务版本,默认 1M 上下文、内置官方工具,面向 API 用户。两者的核心架构一致,但应用形态不同。

Q2:6B 激活参数如何超越 27B 稠密模型?

MoE(Mixture of Experts)架构的核心优势在于:虽然总参数量大(125B),但每处理一个 Token 只激活 6B 参数的专家网络,剩余参数保持沉默。对比 27B 稠密模型(Qwen3.8-27B)每次推理激活全部 27B 参数,Flash-Next 用更少的激活参数实现更精准的路由选择,在编码、办公等专项任务上效率更高。

Q3:Gated DeltaNet 和传统 Attention 相比,优势在哪里?

传统全序列 Attention 需要对每一个历史 Token 计算 Query-Key-Value 乘积,成本为 O(n²)。GDN 通过门控机制压缩历史信息,降低记忆冗余;QSA 在 micro-block 粒度做稀疏筛选,只对重要上下文计算全 Attention。两层压缩叠加,使 26 万 token 的长序列场景计算量大幅降低,同时保持对关键信息的完整感知。

相关阅读

– Qwen3.8-Omni-Flash发布:原生全模态Agent,29项基准涨25%
– Qwen-Drive-1.0:首个统一3D感知与运动规划的自动驾驶视觉-语言模型
– Qwen3.8-LiveTranslate深度:Interleave架构把同传延迟压到2.3秒
– Qwen-Image-2.1深度:7B参数实现文生图与编辑大一统
– DeepSeek V4.1 Flash发布:552B MoE、KV缓存缩437倍

小结

Qwen3.8-Flash-Next 是通义千问团队一次罕见的「架构提前透明化」操作:开源权重、公布全部技术细节,让社区在 Qwen4 正式发布前就有机会验证新架构的实际效果。四大升级(GDN+QSA 混合 Attention、Gated Residual、N-gram Embedding、Muon Optimizer)共同实现了「更少激活参数、更强专项能力、显著更低训练成本」的三重目标。125B 总参数量配合 6B 激活、26 万上下文与 0.8 元/百万 Token 的定价,让它成为目前开源与性价比兼顾最具竞争力的模型之一。随着 Qwen4 在此架构上扩展完整系列,这套设计方向的有效性也将得到最终验证。