一笔把国产 GPU 训练能力搬进开源社区的动作
10 月 28 日，摩尔线程开源大模型训练基础设施项目 Megatron-MUSA-Titan。项目基于摩尔线程全功能 GPU 与 MUSA 软件栈，面向万卡级集群中的万亿参数混合专家（MoE）模型训练需求，同时覆盖预训练与强化学习两类场景。值得留意的是，它不是一份停留在演示层面的代码：官方称该项目已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用，经过长时间训练实践检验，达到较高的模型算力利用率与长稳训练状态。
训练基础设施是连接集群硬件算力与大模型研发流程的基石。把这套系统优化能力向社区开放，意味着开发者可以沿用熟悉的 Megatron 配置与开发方式，在国产全功能 GPU 上开展预训练与强化学习研发，降低迁移与使用成本。
为什么比「又开源一个项目」更值得记
国产 GPU 长期卡在一个结构性问题上：硬件规格能追，但软件生态、互联、算子与框架适配往往跟不上。模型厂要的不是「能点亮一块卡」，而是一整套能稳定跑完万卡级训练、把算力真正转化为有效 token 的系统。训练栈正是这块基石——它决定了集群是空转还是产出。
摩尔线程这次的打法是贴近官方 Megatron 生态：与特定设备无关的算法实现、性能优化和问题修复积极合入官方社区，仓库内只保留与 MUSA 相关的改动。其软件栈已合入 slime 与 RL-Kernel 的 main 分支，开发者无需修改官方代码即可在摩尔线程全功能 GPU 上运行。这种「共建而非另起炉灶」的路径，比单纯放出一份冻结代码更有机会沉淀生态。
技术抓手：四类系统协同优化
万亿参数 MoE 训练的挑战贯穿计算、通信、显存与流水线调度四个方面，任何一环的瓶颈都会拖垮整集群效率。Megatron-MUSA-Titan 围绕这些环节做了系统协同优化。
在精度侧，基于 MT-TransformerEngine 支持 blockwise FP8 训练，把全功能 GPU 的低精度计算能力引入训练流程，提升大规模训练的计算效率。在通信侧，结合 DeepEP 与 ACE 异步通信引擎，加速 MoE 中的 token 分发与结果合并，并实现专家并行与计算的通算重叠，让数据交换与计算任务协同执行。在显存侧，针对万亿参数训练中间激活占用过多显存的问题，实现了基于 VPP/1F1B 调度的激活卸载，在不损失性能的前提下降低显存压力。在流水线侧，基于 Mooncake RDMA 实现阶段间的激活与梯度传输，并结合 VPP 调度实现通信与计算重叠，减少跨阶段等待。
与此同时，项目配套自研的分布式性能分析工具 Distributed Holistic Trace Analysis，可分析分布式训练的 PyTorch Trace，覆盖算子开销、通信开销、流水线空泡与慢节点定位，并能在约 30 分钟内完成万亿参数模型的性能分析，把优化从「凭经验」推向「可观测」。
生态打法：把改动留在最小面，跟随社区演进
这套开源策略的关键，是把与设备无关的算法实现持续合入官方社区，仓库只保留 MUSA 相关改动。这样做的好处是，摩尔线程 GPU 上的训练能力可以持续跟随社区演进，而不是随着版本分叉越走越远。开发者结合 Torch-MUSA 对 PyTorch 的集成，复用社区已有的模型实现、训练流程与配置选项，官方代码无需修改即可在国产 GPU 上运行，获得一致的开发体验。
对国产大模型训练而言，多一个「可审计、可修改、能跟随社区」的训练底座选项，意义不只是多一个框架，而是把迁移成本与锁定风险摊薄。
冷静看：开源只是起点
把训练栈开源，不等于生态已经成熟。框架可用、能在自家万卡集群上长稳训练，与第三方算子、工具链、社区贡献度的全面覆盖之间，仍有距离。真实万亿参数训练的效率与稳定性，也需要更多独立验证而非厂商自述。
更冷静地看，这份开源的真正价值在于：它给国产 GPU 的大模型训练补上了「软栈」这一关键一环，让后续开发者不必从零搭地基。至于它能否把 MUSA 生态真正带起来，要看社区愿不愿意用、能不能持续贡献，以及国产 GPU 的互联与算子覆盖能否跟上。硬件之争的下半场，拼的是软件，这一步正是冲着那块去的。