Amazon推出TorchNeuron:AI开发者只需改一行代码即可在Trainium芯片上运行PyTorch代码
要点速览
- •TorchNeuron使开发者只需将设备代码从'cuda'切换为'neuron'这一行改动,即可在Amazon的Trainium2和Trainium3芯片上运行现有PyTorch工作负载,无需重写代码或重新验证。
- •Amazon旗下Annapurna Labs于2026年10月19日公布TorchNeuron,并以Apache 2.0开源许可证在PyTorch大会上发布公开测试版。
- •超过30家早期采用者参与了alpha和beta测试,包括语音AI公司Cartesia和Deepgram,以及将该工具应用于药物研究的Lieber Institute for Brain Development。
- •Amazon定制芯片部门的年收入运行率已达250亿美元,公司预计这一数字可能翻倍至500亿美元。
- •初始版本跳过了PyTorch框架中约22,000项测试,主要原因是尚不支持动态输入形状等高级特性。

Amazon已推出TorchNeuron,这是一种新的软件后端,使AI开发者只需改动一行代码——将.to('cuda')切换为.to('neuron')——即可在公司的Trainium AI芯片上运行现有PyTorch代码,无需重写或重新验证。该公司将这一工具描述为:让开发者从Nvidia芯片迁移的复杂度大约等同于修改配置文件中的一项设置。此次发布直指Nvidia最持久的优势之一:软件层。当今大量AI代码都是针对Nvidia的CUDA生态编写,与该工具体系的兼容性长期以来一直是团队考虑替代硬件时的现实障碍。
Amazon旗下Annapurna Labs部门于2026年10月19日公布了TorchNeuron,公开测试版于次日在PyTorch大会上发布。这一时机是经过刻意安排的:PyTorch是AI模型开发领域占主导地位的框架,在这一旗舰大会上首发该工具,等于直接在Nvidia的地盘上插旗。
TorchNeuron的实际功能
TorchNeuron以Apache 2.0开源许可证发布,作为一个与PyTorch直接集成的后端运行,使Trainium芯片——具体为Trainium2和Trainium3两代产品——在该框架中呈现为原生设备。实际效果是,在Nvidia硬件上运行工作负载的团队理论上可以将其训练和推理管线迁移至AWS Trainium基础设施,而无需改动代码库。该许可证还允许任何人查看、修改代码并将其用于商业用途,这降低了工程团队评估该后端的门槛。
超过30家早期采用者参与了公开发布前的alpha和beta测试,其中包括语音AI公司Cartesia和Deepgram,以及将此工具用于药物研究的Lieber Institute for Brain Development。早期用户报告了切换带来的成本节约,但Amazon尚未公布具体数字。
背后的商业逻辑
据Amazon介绍,其定制芯片部门的年收入运行率已达250亿美元,公司预计这一数字有望达到500亿美元。若这一预测实现,将使该部门当前规模翻倍——这也显示出Amazon推动Trainium成为可行替代方案的商业分量,而这一市场长期由Nvidia硬件主导。
已知局限
初始版本并非毫无瑕疵。TorchNeuron目前跳过了PyTorch测试框架中约22,000项测试,主要原因是其尚不支持包括动态输入形状在内的某些高级特性。对于运行需要灵活输入处理的模型的团队而言,这是一个切实的限制,也表明TorchNeuron是真正意义上的beta产品,而非营销意义上的说法。对于评估该测试版的团队,需要关注的指标非常具体:后续版本是否会减少被跳过的测试数量、动态输入形状是否会获得支持,以及Amazon是否会公布早期采用者所报告的成本节约数据。