Amazon Web Services ha lanciato TorchNeuron, un backend PyTorch nativo per i suoi acceleratori AI Trainium2 e Trainium3, concepito per far sì che l'addestramento per la ricerca sia simile a qualsiasi altro lavoro PyTorch. La mossa affronta un punto di attrito di lunga data: i chip Trainium hanno dato buoni risultati nell'esecuzione di modelli AI completi, ma si sono rivelati poco pratici per il lavoro sperimentale e caotico necessario a costruirne di nuovi. AWS ora vuole colmare questo divario. Gli acceleratori fanno parte della linea di silicon interna dell'azienda per i carichi di machine learning.

Cosa ha rilasciato AWS

TorchNeuron è entrato in beta pubblica il 19 ottobre 2026. AWS ha reso il progetto open source un giorno dopo, il 20 ottobre, alla PyTorch Conference North America. La release è arrivata insieme alla versione 2.33.0 del Neuron SDK, il toolkit software che AWS utilizza per programmare i propri chip proprietari.

La caratteristica principale è la semplicità. Gli sviluppatori possono spostare un modello su Trainium con una singola riga di codice, come .to('neuron'), in modo simile a puntare il codice verso qualsiasi altro dispositivo. Questa singola riga mantiene la compatibilità con le API PyTorch standard e supporta l'esecuzione eager, il che significa che le operazioni vengono eseguite immediatamente quando richiamate dal codice, invece di essere prima compilate in un grafo più ampio.

La configurazione precedente si basava su un'integrazione PyTorch/XLA. Quell'approccio richiedeva agli sviluppatori di distribuire chiamate come xm.step() nei propri cicli di addestramento e di adattarsi a uno stile di programmazione personalizzato, fortemente basato sul compilatore. Funzionava, ma richiedeva codice aggiuntivo e offriva una copertura delle API più limitata.

L'attrito che viene eliminato è un problema a livello di settore. PyTorch è il framework dominante nella ricerca sull'AI, e lo stack software CUDA di NVIDIA rimane l'ambiente predefinito per eseguirlo; gli acceleratori alternativi richiedono in genere che gli sviluppatori adattino il proprio codice prima di poter iniziare l'addestramento. Rendere open source il backend porta inoltre il suo sviluppo in pubblico, dove i ricercatori possono esaminare il codice, segnalare problemi e contribuire con modifiche invece di dipendere solo da AWS.

Neuron 2.33 apporta anche diversi aggiornamenti di supporto:

• Neuron Observer, uno strumento per rilevare problemi di salute dell'hardware
• Funzionalità NKI migliorata per la personalizzazione a livello più basso
• Plugin vLLM aggiornati ottimizzati per funzionare con TorchNeuron

C'è però un inconveniente per i possessori di hardware più dat: TorchNeuron supporta solo Trainium2 e Trainium3. Trainium1 e la famiglia di chip Inferentia restano esclusi.

Perché l'inferenza è arrivata per prima

Trainium ha già trovato la sua collocazione nell'inferenza, la fase in cui un modello addestrato risponde a richieste reali. Anthropic esegue inferenza in produzione e rollout di reinforcement learning su Trainium2 e Trainium3.

L'addestramento per la ricerca è un'altra storia. Gli scienziati sostituiscono continuamente livelli, testano varianti ed eseguono ablazioni—esperimenti che rimuovono o modificano un componente per vedere cosa si rompe. Ogni modifica può richiedere un angolo diverso delle API PyTorch, un pattern che comportava uno sforzo extra con il precedente flusso di lavoro basato su XLA.

Questa differenza spiega il peso di questa release: l'addestramento è il luogo in cui nascono i nuovi modelli, e il supporto nativo mette Trainium in gioco dal primo esperimento di un modello, non solo una volta completato.

Chi lo sta già usando

AWS dichiara di avere più di 30 clienti early adopter su TorchNeuron. Si estendono dalla robotica all'AI vocale fino allo sviluppo di grandi modelli linguistici. Cartesia e Deepgram, due aziende attive nell'AI vocale, riportano miglioramenti sostanziali delle prestazioni rispetto alle loro configurazioni precedenti. Anche Hugging Face, la popolare piattaforma per modelli AI open source, ha adottato il supporto Trainium.

L'aggiornamento apre inoltre Trainium a casi d'uso di ricerca più ampi, con settori come la scoperta di farmaci citati tra quelli che potrebbero trarre beneficio da un accesso più semplice all'hardware. Trattandosi di una beta pubblica, il set di funzionalità e la copertura hardware di TorchNeuron possono ancora cambiare prima che il progetto si stabilizzi; nel frattempo, i team che utilizzano Trainium1 o Inferentia continuano con i precedenti strumenti basati su XLA.