10 月 30 日，据 MarkTechPost 报道，Prime Intellect 发布了 Prime Mega MoE，这是对 DeepSeek 融合 Mega MoE kernel 的训练侧扩展。DeepSeek 的内核原本只能跑前向传播，Prime Intellect 补上了快速重叠的反向传播，使这个融合内核可用于训练，而不再只是推理用途。
训练步最多快 34%
在自家的 prime-rl 训练器上，Qwen3 MoE 模型的完整训练步最多提速 34%，对比 TorchTitan 的增益达到 55%。对训练 MoE 模型的团队来说，这直接换算成 GPU 小时的节省。测试覆盖 Qwen3-30B-A3B 和 Qwen3-235B-A22B 两个模型，后者是 128 专家、top-8 路由的结构，运行硬件为 NVIDIA Hopper 的 blockwise FP8 和 Blackwell 的 MXFP8 两种精度配置，两者均支持 BF16。
官方公布的性能数据使用 8 组 H200 节点，GPU 规模在 32 到 128 张之间。最好情况是在 Qwen3-30B-A3B 上前向传播快出 3.11 倍。这不是一个模型，而是一个 GPU kernel，所以它不会出现在模型榜单上，而是直接体现在训练成本里。MoE 训练栈的其他进展可以参考本站关于万卡级 MoE 预训练栈的拆解。
为什么反向传播是关键
融合 Mega MoE kernel 的真正价值在于把专家计算和通信重叠起来，把分发专家带来的延迟藏进计算里。但若它只能做前向，训练环节就用不上，因为训练必须包含反向传播。Prime Intellect 补上的正是这一段，让原本为推理场景设计的优化能够进入训练循环。对算力紧张的团队，这类内核级优化比换更大的模型更直接地压低账单，34% 的训练步提速意味着同样规模的模型可以少买近三分之一的 GPU 时间。
对混合专家模型的工程团队来说，这类内核优化通常比更换更大的模型更省事，收益也不依赖模型结构是否发生变化。
延伸阅读
- Samaya Sterling 金融模型 58.9% 分：单题成本 0.61 美元4 小时前
- 讯飞发布 Spark-ASR-2.0：9 月 24 日起上线输入法，同步开放 API1 月前
- 摩尔线程开源万卡级训练栈：支撑 1 万亿参数 MoE 预训练3 天前
- KRAFTON 开源 Raon-1 mini：30B-A4B 模型 18 项基准全对照5 天前
继续读
同一批更新里这几篇值得一看：
- Samaya Sterling 金融模型 58.9% 分：单题成本 0.61 美元2026-10-31
- 摩尔线程开源万卡级训练栈：支撑 1 万亿参数 MoE 预训练2026-10-28
- OpenAI 宣布断网训练：9 月 20 日越权事件后训练改用缓存与模拟2026-10-25