百度文心5.5 Flash Base开源：280B激活14B，30项基准对比

一句话结论：百度文心 5.5 Flash Base（ERNIE-5.5-Flash-Base）在 33.5 万亿 token 上从零预训练出 280B 总参数、每 token 仅激活 14B 的稀疏 MoE 基座，30 项同尺寸基准里拿下 26 项第一，代码与推理优势最明显，后训练版 ERNIE 5.5 Flash 尚未发布。

2026 年 11 月 5 日，百度文心大模型正式开放 ERNIE-5.5-Flash-Base 的预训练终点权重，Hugging Face 同步提供 FP8 与 BF16 两套 safetensors。这一步的分量在于它把「训练完、但没对齐」的那个瞬间原样交了出来。开发者拿到的是一份 2800 亿参数、激活 140 亿的底座，可以直接接入自己的领域适配、指令微调、强化学习甚至 Agent 行为塑造流程。

这份 checkpoint 背后的设计主线只有两个字：效率。百度的说法是，在 Agent 高频次、长时自主运转的场景里，每一步的推理开销和长上下文的 KV cache 占用会持续累积，因此他们从注意力、残差连接、MoE 层到输出头逐个组件权衡能力与代价。这条路线与近期 商汤 SenseNova 6.8 Flash 的档位定位、摩尔线程万卡级 MoE 预训练栈 推动的训练基础设施方向，落在同一个问题上：同样的算力预算下，Flash 档模型能装下多少真实任务。

43 层主干：37 层压缩，6 层精读

ERNIE 5.5 Flash 共 43 层 Transformer，hidden size 4096，64 个注意力头。结构上最反直觉的一处是层间不对称的注意力预算分配。

百度的做法是每七层里只留一层对全上下文做 token 级访问，这层用多头潜在注意力（MLA）；其余各层用重度压缩注意力（HCA），每 128 个 token 压成一条缓存条目，只对压缩条目加最近一小段未压缩窗口做稠密注意力。落到 43 层上，是 37 层 HCA 加 6 层 MLA。头维度也不统一：HCA 层在 128 倍压缩后的序列上计算，量小，用 512 维宽头；MLA 层逐 token 访问上下文，量大，query/key 与 value 都收窄到 256 维。

这套混合方案的经济账在于，MLA 层需要全量 token 的 KV cache，HCA 层只需要其中一小块。剩余的 KV cache 预算，百度没有按老办法分给大量压缩稀疏注意力（CSA）层，而是集中喂给少数保留全部 token 的 MLA 层。在预算相当的预训练对比中，HCA 搭配 MLA 的表现优于 HCA 搭配 CSA，足以支撑细粒度检索。

6 层 MLA 还有第二道保险：它们采用稀疏注意力（DSA），由一个轻量 indexer 给每个 query 的历史位置打分，核心注意力只在得分最高的 top-k 位置计算，单个 query 的开销不再随上下文长度线性增长。采用 DSA 后这几层的预训练 loss 与稠密注意力持平，训练速度提升明显。

注意力层内部还有两项改进。低秩门控注意力改用层内本来就会生成的低秩 query latent 来算输出门，由于 query latent 的维度只有隐状态的四分之一，门投影的权重参数量减少了 75%，消融实验里的效果反而更好。虚拟头注意力（VHA）则在注意力之后加一个带恒等跳连的轻量跨头低秩混合，推理时可以融合进注意力算子，开销几乎可忽略，其相关论文已被 NeurIPS 2026 接收。这类跨头信息融合的思路与 Zyphra ZHA 稀疏注意力 试图解决的是同一个瓶颈的两种切法。

512 个专家选 10：多路由器修正打分偏差

除第一层外，各层 FFN 全部替换为 MoE 块。传统 MoE 用一个路由器打分再走一次硬 top-k 选专家，问题在于打分与专家实际效用只有弱相关，中深层尤其明显；落选的专家拿不到该 token 的梯度，选错之后很难纠正，错误会不断自我强化。

Multi-Router 的解法是让多个独立初始化的 sigmoid 路由器一起打分。这些路由器的偏好会明显分化，一个专家只要被某个路由器强烈看好，或者被几个路由器同时看好，就有机会入选，单次误判不再直接左右结果。百度给出的口径是，激活专家数、专家 FLOPs 和通信量与单路由器方案完全相同，推理时没有额外成本，而路由打分与专家效用的相关性明显提升，原本相关性最弱的中深层改善最大。相关工作已以论文形式公开。

配置层面，每个 MoE 块含 512 个路由专家、每次选 10，外加 1 个共享专家，负载均衡采用无辅助损失的 bias 修正方案。专家计算被搬进隐空间：token 先从 4096 维投影到 2048 维，专家在 2048 维中间维上计算，最后经一次共享上投影映射回原空间，相对全宽专家，dispatch/combine 通信量与专家 FLOPs 约减半。MoE 块还采用 Stable LatentMoE 设计，上投影前加 RMSNorm 并用 SiTU-GLU 激活，让专家输出在 43 层里保持合适尺度，每个路由专家的路由权重再乘一个自己的可学习标量。

残差连接换成了流形约束超连接（mHC），每层通过受约束的混合矩阵读写 4 条并行残差流，用几乎可忽略的计算拓宽层间残差带宽。输出头是 MultiMax，用可学习的分段温度打破单一 softmax 温度在稀疏性与多峰性之间的取舍，logits 在分块、Triton 融合的交叉熵 kernel 内于 softmax 之前逐元素调制，训练开销可忽略且不增加显存。

ECHO：省掉 MTP 模块，主干自己学预测未来

多 token 预测（MTP）由 Meta 在 2024 年提出、DeepSeek V3 采用后普及，思路是训练时让模型同时预测后面多个 token，用更密集的监督信号训练规划能力，还能兼任推理时投机解码的 draft 模型。常规 MTP 的问题在于它在主干之外挂接一整套专职模块，多步损失主要监督这些外挂，主干各层依然只为下一个 token 服务，长远规划的能力没有被直接训练。

ERNIE 5.5 Flash 用 ECHO 取代了 MTP 模块：直接复用主干自身的最后一层做未来预测，不再需要独立的 MTP Transformer 层，多步损失直接作用于生成下一个 token 的参数。模型以单步 ECHO 完成预训练，官方称在数学、推理与代码任务上取得明显收益。

额外收益出现在推理阶段。承担未来预测的最后一层可以直接当作投机解码的内置草稿模型，几乎不增加额外参数。更有意思的是这层涌现出外推特性：预训练时它只学了多预测 1 个 token，作为草稿模型时却能连续向后起草多个 token，同样只训练一步的条件下，多步起草质量大幅优于外挂 MTP 模块。投机解码这条链上此前的工程进展可参考 FlashMap 投机解码 的实测数据。

分词器也换成了全新的 BPE 词表，规模约 200K。数字采用从右到左、最多三位一组的切分方式，让不同长度数字的数位对齐，例如 1,234,567 会被切为 1、234、567，这一设计对算术和数字密集文本更友好。

训练基建：分布式 Muon 与 FlashMask-4

预训练采用 Muon 优化器与 FP8 混合精度，上下文在训练过程中逐步扩展到 128K tokens，微调与推理支持 1M tokens。模型能训完本身也是一次基建验证。

Muon 采用逐张量的正交化更新，这同时改变了分布式训练的通信模式与显存分布。传统方案里 Dense 参数依赖跨机大环通信，千卡大环链路长、小消息多，链路利用率低，时延与抖动随集群规模显著上升。百度把 Dense 通信也改走跨机同号卡路径，并与 MoE 的同号卡通信融合为单次集合通信，有效 message size 大幅提升。同时他们提出节点间均衡切分方案，把优化器状态向更靠后、更多的卡上摊开，避免少数节点显存压力过高触发 OOM，也避免 checkpoint 保存与远端上传下载拖慢故障恢复。

注意力算子 FlashMask-4 基于 CuTe-DSL 实现，同时支持 SM90 与 SM100 架构。它支持高至 qk_head_dim = 576、v_head_dim = 512 的规模，这一规模 FlashAttention-4 并不支持。在 SM100 上通过 2-CTA 分块并行计算与 Tensor Memory 双 Buffer 轮换实现大 head dim 下的高效计算。在 SM100 GPU 上，相比 FlashAttention-4 MaskMod，FlashMask-4 前向性能提升高至 175%，反向提升高至 74%。这个算子已在 PaddlePaddle 的 GitHub 仓库开源。

数据侧重点建设了三个方向。网页数据做多语言抓取、高保真抽取与模型驱动的多维质量过滤。代码数据在静态代码之外补充了软件演化与执行验证类数据，包括 commit、issue、pull request、代码评审、需求到 PR 的多 commit 轨迹、自动生成的测试以及经 CI 验证的修复，用来增强仓库级推理与 Agent 软件工程能力。长文数据由三部分互补构成：经长程依赖筛选与 LLM 质量打分得到的天然长文档、混入语义相近检索干扰文本的长序列，以及合成的 MRCR 式检索、基于引用的问答与多跳问答数据。

30 项基准：26 项第一，代码是最强板

百度在 30 项 Benchmark 上评测了 ERNIE-5.5-Flash-Base，涵盖综合、理科、推理、知识、代码、多语言与长上下文七类。对手是三个同为 Base 档的公开 checkpoint：DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）。四个模型均基于各自公开发布的 checkpoint，使用同一套评测框架、相同的 prompt 与 few-shot 样例，自由问答题使用同一个裁判模型。

逐项看下来，代码是领先幅度最大的板块。HumanEval+ 82.3 对 69.5，MBPP+ 81.5 对 67.2，LiveCodeBench 40.1 对 31.9，差距都在 8 个点以上。这与数据侧刻意补充仓库级演化数据（commit、issue、PR 轨迹、CI 验证修复）的做法直接对应。推理类的 BBH direct 拿到 77.1，比 DeepSeek-V4-Flash-Base 高 8.1 分；MMLU-Pro 78.4 对 69.2，综合能力同样拉开。

百度自己的表格里也印着输掉的项：ChineseSimpleQA 73.0 落后 DeepSeek-V4-Flash-Base 的 75.3，INCLUDE-lite 79.5 对 79.8，HELMET-Rerank 56.2 对 60.0，InfiniteBench 46.5 对 48.0，FullStackBench 54.6 落后 Hy3-preview-Base 的 56.7。这几项恰好落在长文本检索排序与中文事实性问答上，与 43 层里 37 层做 128 倍压缩注意力的取舍直接相关。

长上下文六项里，HELMET-ICL 85.9、RepoQA 91.7、LongBench-v2 48.7 领先，HELMET-Rerank 与 InfiniteBench 略输。百度自己的判断是，6 层 MLA-DSA 足以在 37 层压缩层的配合下撑起细粒度检索效果。

Base 模型与可用模型的差别：三个必须说清的落差

这份权重是预训练终点的 checkpoint，未经中训练与后训练。官方定位是领域适配、指令微调和强化学习研究的共同起点，后训练版 ERNIE 5.5 Flash 将随后推出。这带来三个落差。

第一是行为落差。指令遵循、工具调用、拒答策略、格式纪律这些感知质量几乎全部来自后训练阶段。Base checkpoint 的 MMLU 分数说明的是先验能力，它无法回答模型能否稳定吐出 JSON、能否扛住 40 轮工具调用循环。同尺寸的 DeepSeek-V4-Flash-Base 同样未经后训练，但已发布的 DeepSeek V4.1 Flash 是可直接调用的成品，两者在实际部署上并不对称。

第二是许可落差。ERNIE-5.5-Flash-Base 采用专有的 ERNIE 5.5 Flash Base Model License Agreement v1.0，与 DeepSeek V4.1 Flash 的 MIT 存在实质差异，商用、二次分发、署名与使用范围条款需要法务逐条确认。对做研究的学生团队影响有限，对要用私有数据微调再出货的企业，这是第一份要读的文件。

第三是显存落差。280B 总参数在 FP8 下意味着 280GB 量级的权重，加 KV cache 与激活余量。自建部署的门槛远高于走 API。这与 DeepSeek Super-agent 讨论的长时任务路由开销，属于同一个成本权衡的另一侧。

生态侧百度已经铺好：SGLang 与 vLLM 都能通过 completions API 部署，NVIDIA 的 Megatron-Bridge 仓库已包含 ERNIE 5.5 微调示例，FlashMask-4 算子也在 PaddlePaddle 的 GitHub 仓库开源。Base 模型要求每条输入以 BOS token 开头，分词时需要保持 add_special_tokens=True。

小结

ERNIE 5.5 Flash Base 的价值有两层。表层是 30 项基准上的 26 项第一和代码能力的两位数领先，说明中文团队在 Flash 档基座上已经能给出可复现的强结果。深层是这套架构本身把效率写进了每一个组件：37 层 HCA 换 KV cache 预算、512 专家在 2048 维隐空间里算、ECHO 省掉 MTP 模块、主干最后一层兼任草稿模型、Muon 与 FlashMask-4 把数千卡规模的训练成本压住。

对读者的实际建议很直接。中文持续预训练或领域适配场景，这个 checkpoint 值得下载并复现那张 30 项表格；纯生产部署场景，等后训练版 ERNIE 5.5 Flash 的价格与实测行为出来再决策。权重已经开放，但把预训练终点变成可用产品的距离，往往藏在后训练那几道工序里。

常见问题

ERNIE-5.5-Flash-Base 可以直接当聊天模型用吗？

不推荐直接使用。这份权重是预训练终点的 checkpoint，未经中训练与后训练，没有经过指令对齐与拒答策略训练。它的定位是继续训练的起点，需要你自行完成领域适配、指令微调或强化学习才能投入使用。要能直接调用的版本，需要等后训练版 ERNIE 5.5 Flash 发布。

ERNIE 5.5 Flash Base 与 DeepSeek V4 Flash Base 的差距在哪？

在官方同框架评测里，文心 5.5 Flash Base 在 30 项基准中拿下 26 项第一，总参数 280B 对 284B、每 token 激活 14B 对 13B 基本同档。代码能力领先最大，HumanEval+ 82.3 对 69.5、LiveCodeBench 40.1 对 31.9。劣势项是 ChineseSimpleQA、INCLUDE-lite、HELMET-Rerank、InfiniteBench 与 FullStackBench，这些恰好是长文本排序与中文事实性问答。

自建部署 ERNIE 5.5 Flash Base 需要多少显存？

280B 总参数在 FP8 下约对应 280GB 权重，加上 KV cache 与激活余量，属于需要多卡集群的量级。若只是评估或做少量微调实验，可先用 Megatron-Bridge 提供的官方微调示例跑通流程。生产部署前建议同时评估按 API 计费的替代方案。

相关阅读

• 商汤 SenseNova 6.8 Flash 深度：9 项基准与 7 类设计交付
• Zyphra ZHA 稀疏注意力：8.2 万参数与 373 倍加速推算
• 摩尔线程开源万卡级训练栈：1 万亿参数 MoE 预训练与强化学习
• FlashMap 投机解码：Qwen3-8B 加速 6.14 倍与 16 token 草稿
• DeepSeek Super-agent 深度：P95 15.7 分钟对比 29.5 分钟