Amazon Web Services 推出 TorchNeuron，這是一個適用於其 Trainium2 與 Trainium3 AI 加速器的原生 PyTorch 後端，旨在讓研究訓練就像其他任何 PyTorch 工作一樣自然。此舉針對一個長期存在的痛點：Trainium 晶片在執行已完成 AI 模型方面表現出色，但在建構新模型這種繁瑣且充滿實驗性的工作上卻顯得笨拙。AWS 現在希望彌補這一差距。這些加速器是該公司機器學習工作負載自研晶片產品線的一部分。

AWS 實際推出了什麼

TorchNeuron 於 2026 年 10 月 19 日進入公開測試版。AWS 隔日（10 月 20 日）在 PyTorch Conference North America 上將該專案開源。此次發布伴隨 Neuron SDK 2.33.0 版本一同推出，Neuron SDK 是 AWS 用來編程其自研晶片的軟體工具包。

最主要的功能是簡便性。開發者只需一行程式碼（例如 .to('neuron')）即可將模型移至 Trainium，就像將程式碼指向其他任何裝置一樣。這一行程式碼保持了與標準 PyTorch API 的相容性，並支援 eager 執行，也就是說，操作會在程式碼呼叫時立即執行，而不是先編譯成較大的運算圖。

先前的架構依賴於 PyTorch/XLA 整合。那種方式要求開發者在訓練迴圈中散布 xm.step() 之類的呼叫，並適應一種自訂且重度依賴編譯器的編程風格。它可行，但需要額外的程式碼，且 API 覆蓋範圍較窄。

這種痛點是整個產業共通的。PyTorch 是 AI 研究領域的主導框架，而 NVIDIA 的 CUDA 軟體堆疊仍是執行 PyTorch 的預設環境；替代加速器要求開發者在訓練開始前先調整程式碼。將後端開源也使其開發過程公開透明，研究人員可以檢視程式碼、回報問題並貢獻修改，而不必只依賴 AWS。

Neuron 2.33 還帶來多項配套升級：

• Neuron Observer，用於偵測硬體健康狀況問題的工具
• 改進的 NKI 功能，用於更底層的自訂
• 更新的 vLLM 外掛，專為搭配 TorchNeuron 使用而調校

不過，較舊硬體的用戶要注意：TorchNeuron 僅支援 Trainium2 與 Trainium3。Trainium1 與 Inferentia 晶片家族並未納入。

為何推論優先

Trainium 早已在推論領域站穩腳步，推論是指已訓練模型回應實際請求的階段。Anthropic 在 Trainium2 與 Trainium3 上執行生產環境推論與強化學習部署。

研究訓練則是另一回事。科學家不斷替換層、測試不同變體，並進行消融實驗——即移除或更改某個元件以觀察會導致什麼問題的實驗。每次微調都可能涉及 PyTorch API 的不同角落，而這種模式在先前的 XLA 工作流程下需要付出額外心力。

這種區隔正是此次發布如此重要的原因：訓練是新模型誕生之處，原生支援讓 Trainium 從模型的第一個實驗就參與其中，而不是只在模型完成後才登場。

誰已經在使用

AWS 表示已有超過 30 家早期客戶使用 TorchNeuron，涵蓋機器人、語音 AI 與大型語言模型開發領域。從事語音 AI 的 Cartesia 與 Deepgram 兩家公司表示，與先前的配置相比，效能有顯著提升。熱門開源 AI 模型中心 Hugging Face 也已採用 Trainium 支援。

此次更新也將 Trainium 開放給更廣泛的研究用途，其中藥物發現等領域被列為可因更便利地使用該硬體而受惠的範例。作為公開測試版，TorchNeuron 的功能集與硬體支援範圍在專案穩定前仍可能變動；在此期間，使用 Trainium1 或 Inferentia 的團隊仍繼續使用先前的 XLA 工具。