10 月 28 日，摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，项目基于摩尔线程全功能 GPU 与自研 MUSA 平台，定位是万卡级集群上的万亿参数 MoE 模型训练底座，同时覆盖预训练与强化学习两个场景。官方给出的仓库地址为 GitHub 上的 MooreThreads/Megatron-MUSA-Titan，仓库的创建时间显示为 2025 年 3 月，代码本身积累已久，这次是正式对外开放。
万卡集群跑万亿参数，预训练与强化学习共用一套底座
项目 README 给出的规模指标是 1T 以上参数模型与 10000 块以上摩尔线程 GPU 组成的集群，并称已在自有万卡级集群完成 1T MoE 预训练，达到较高的模型算力利用率与长时间稳定训练。训练配置参考直接指向 Kimi-K2 的 1T MoE 配方脚本。工程上的一条硬约束是 FP8 训练必须配合 MT-TransformerEngine 提供优化后的 FP8 实现，这是把低精度计算能力真正接进大规模训练流程的前提。
通信与显存是重点，向上游仓库要兼容
MoE 训练的成本大头在通信与显存。README 列出 blockwise FP8、基于 ACE 后端的 DeepEP 专家并行通信、专家并行与计算通算重叠、结合虚拟流水线的激活卸载与 1F1B 调度，以及用 Mooncake RDMA 做流水线并行通信与计算重叠。兼容性是另一个关键点：借助 torch_musa 的 PyTorch 集成与 MUSA C 对 CUDA C 的兼容，开发者可以直接克隆官方 Megatron-LM、slime、miles 仓库在摩尔线程 GPU 上运行，不必改上游代码。仓库内还附带分布式全链路 trace 分析工具，用于定位算子、流水线气泡与掉队节点。
强化学习侧由 SGLang 承担 rollout
项目把预训练与强化学习放在同一套基础设施上：Megatron 负责训练，slime 与 miles 负责强化学习算法，SGLang 作为 rollout 引擎生成样本，官方 Megatron-LM 的配置项尽量被复用，新增选项集中在特性使用与环境变量文档中。这种把推理与训练串起来的做法与清华团队围绕 SGLang 做缓存与推理工程优化属于同一条技术脉络。在硬件层面，摩尔线程当天另一条消息是天数智芯天垓 300 实机跑通、单卡吞吐约为 H200 的 1.05 倍，国产全功能 GPU 阵营的实机数据在同一天集中出现。
延伸阅读
- 商汤大装置日均6万亿Token：PD分离把异构集群吞吐拉高5倍1 周前
- Databricks AI Runtime 正式可用，训练周期压到48小时6 天前
- 英伟达 GPU 寿命改口 8 年：残值 158% 与 1194 基点 CDS 分歧6 天前
- 马来西亚查获4950万林吉特走私AI芯片：30台服务器被扣2 小时前
继续读
同一批更新里这几篇值得一看：
- 摩尔线程三季报：单季营收增 17 倍，净利转正2026-10-28
- 马来西亚查获4950万林吉特走私AI芯片：30台服务器被扣2026-10-28
- 天数智芯天垓300实机跑通：单卡吞吐达H200的1.05倍2026-10-28