prefix="og: https://ogp.me/ns#"> 亚马逊 TorchNeuron 开源:PyTorch 一次配置跑 Trainium,CUDA 护城河遭撼动|AI自学笔记

亚马逊 TorchNeuron 开源:PyTorch 代码一次配置即可跑在 Trainium 芯片上,CUDA 护城河遭撼动

10 月 19 日,亚马逊宣布推出开源工具 TorchNeuron,开发者写好的 PyTorch 代码只需在 AWS 控制台更改一次芯片配置,无需任何代码修改,即可在亚马逊自研 AI 训练芯片 Trainium 上本地运行。TorchNeuron 由亚马逊 AI 基础设施团队主导,代码托管于 GitHub,采用 Apache 2.0 许可证,已正式开放。

Scaffold 优化:不改模型权重即可提性能

TorchNeuron 的核心创新在于 Scaffold(运行脚手架)优化思路:无需开发者重新训练或修改模型权重,只需调整运行时的配置与底层调度逻辑,即可让已训练好的模型在 Trainium 硬件上发挥更高吞吐量。亚马逊表示,该工具已支持主流 PyTorch 2.x 模型架构,Trainium 与 Trainium2 两代芯片均可使用,并内置了针对 Transformer 的专用优化模块。

对标英伟达:AWS 降本攻势

亚马逊此举被普遍解读为直接挑战英伟达在 AI 训练硬件领域的主导地位。CUDA 作为英伟达 GPU 编程的事实标准,长期让开发者在训练环节高度依赖英伟达生态。通过 TorchNeuron,AWS 为在云上训练的团队提供了低成本迁移路径——既可以在云端用 Trainium 降成本,又可以继续在本地用 RTX 4090 推理,从而逐步降低对英伟达的依赖。对于已在 AWS 上训练大量模型的企业用户,这意味着可以在不同硬件间更灵活地分配工作负载,同时利用 Trainium 更低的算力单价压缩训练成本。