11 月 5 日，百度正式开源最新基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base），权重已在 Hugging Face 公开。该模型采用 MoE 架构，总参数量 2800 亿，每个 Token 激活 140 亿参数，预训练消耗 33.5 万亿个 Token，预训练上下文长度最高 128K，微调与推理阶段支持最长 100 万 Token 上下文。
把效率写进架构的三处改动
注意力机制上，文心提出 Latent-Gated Sparse Attention，把混合稀疏注意力、低秩门控注意力与虚拟头注意力组合起来：HCA 与 MLA 混合后，不同注意力层分别承担压缩历史信息与细粒度访问历史位置的职责，低秩门控注意力则复用已有的低维表示。
专家路由改用 Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，目标是降低单一评分偏差带来的影响，同时保持激活专家数量、专家计算量与通信量不变。训练目标引入 ECHO，不需要额外增加 MTP 开销。
从参数规模看，2800 亿总参与 140 亿激活的比例意味着该模型走的是典型的稀疏化路线，推理时实际参与计算的只有总参数的二十分之一。33.5 万亿 Token 的预训练量放在同尺寸级别里属于偏高的投入，配合 128K 预训练上下文与 100 万 Token 微调推理上下文，这套配置明显是冲着长文档分析和多轮智能体任务去的。
训练系统同步跟进
配套基建方面，文心对分布式 Muon 优化器做了优化，并推出面向大 head dim 的注意力算子 FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。这次开源给出的是基座模型，下游开发者与企业在微调、定制上有更大空间，开源地址为 huggingface.co/baidu/ERNIE-5.5-Flash-Base。
延伸阅读
- 百度 ApolloWorld 世界模型上线：一天虚拟路测抵三年真实里程17 小时前
- webAI TwIL-8B：8.79B 参数拿下 MATH-500 98.2 分28 分前
- 百度 ApolloWorld 世界模型：日行十万公里与 2+3 评价标准15 小时前
- 商汤开源 SenseNova Loop-9B：9B 模型媲美 27B 效果5 天前
继续读
同一批更新里这几篇值得一看：
- webAI 发布 TwIL-8B：MATH-500 拿下 98.2 分2026-11-05
- Kimi K3.1 Pro 开放权重：登顶 Agent Arena 开源模型榜2026-11-05
- 百度 ApolloWorld 世界模型上线：一天虚拟路测抵三年真实里程2026-11-05