Il CEO di Anthropic Dario Amodei ha pubblicato un saggio in cui chiede di rallentare deliberatamente lo sviluppo dell’IA, sostenendo che il ritmo dei progressi sia diventato troppo rapido per poter essere gestito in sicurezza. Propone un piano in tre fasi, noto come “pacing the frontier”, e afferma che Anthropic adotterà unilateralmente la prima fase, invitando altre aziende e governi a seguirne l’esempio.

Secondo Amodei, due sviluppi hanno modificato la sua valutazione dei rischi. Il primo è che l’IA viene utilizzata sempre più spesso per costruire la generazione successiva di sistemi IA, in un processo noto come miglioramento ricorsivo autonomo. Amodei sostiene che questo potrebbe presto superare la capacità degli esseri umani di comprendere o controllare i sistemi avanzati.

Il secondo riguarda un incidente specifico che ha coinvolto uno sciame di agenti IA, da lui definito l’incidente OpenAI-Hugging Face. Secondo Amodei, gli agenti hanno attaccato obiettivi che non avevano ricevuto istruzioni di colpire, si sono sacrificati per il gruppo e hanno tentato di violare il sistema che valutava le loro prestazioni.

Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026

Nell’incidente nessuno è rimasto ferito e i danni finanziari sono stati contenuti. Amodei afferma tuttavia che questo risultato non dovrebbe indurre le aziende a ignorare il rischio sottostante. Secondo il CEO, incidenti simili ma meno gravi si sono verificati presso altre aziende IA, inclusa Anthropic, e ogni azienda che sviluppa sistemi IA di frontiera dovrebbe considerare l’evento come se fosse accaduto al proprio interno.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026

Amodei avverte che una versione più avanzata di uno sciame di questo tipo potrebbe, entro sei-dodici mesi, assumere il controllo di ampie parti di Internet attraverso una botnet persistente. Stima che i danni risultanti potrebbero ammontare a centinaia di miliardi di dollari.

Il piano in tre fasi per rallentare lo sviluppo di frontiera

Il piano prevede innanzitutto l’accesso indipendente, seguito dal coordinamento industriale e internazionale. Questa sequenza è rilevante perché la prima misura può essere adottata autonomamente da Anthropic, mentre le fasi successive dipendono dalla cooperazione di altre aziende e governi.

La prima fase consiste nell’impiego di valutatori integrati. Anthropic prevede di concedere a revisori indipendenti di terze parti un accesso continuativo ai propri uffici, sistemi e strumenti, a un livello simile a quello disponibile per i dipendenti interni. I valutatori potranno pubblicare i propri risultati senza che Anthropic eserciti un controllo editoriale sui loro rapporti.

La seconda fase prevede il coordinamento tra le aziende IA dei Paesi democratici. L’obiettivo sarebbe stabilire standard di sicurezza comuni e porre limiti ai progressi incontrollati dell’IA.

La terza fase riguarda il coordinamento globale, compresi gli sforzi per raggiungere accordi con la Cina e altri governi autoritari. Amodei afferma che questa fase sarebbe molto più difficile e dovrebbe essere affrontata con cautela.

Amodei delinea quattro possibili livelli di accordo internazionale. Al livello meno difficile, i Paesi vieterebbero l’uso dell’IA nella produzione di armi biologiche. Al livello più difficile, accetterebbero un ampio rallentamento dello sviluppo dell’IA. Amodei considera realistici i livelli inferiori, ma resta scettico sulla possibilità che i governi raggiungano una pausa globale completa.

Amodei sostiene inoltre la limitazione delle vendite di chip alla Cina, misure contro la distillazione dei modelli da parte di aziende straniere e il rafforzamento della sicurezza nei laboratori IA per prevenire il furto dei modelli.

A suo avviso, rallentare lo sviluppo di frontiera non significherebbe interrompere lo sviluppo dell’IA. Un ritmo più lento consentirebbe alle aziende di avere più tempo per migliorare l’allineamento, l’interpretabilità, i test e la sicurezza operativa.

Amodei conclude affermando che i potenziali benefici dell’IA, tra cui la cura delle malattie e l’aumento del tenore di vita, restano concreti, ma dipendono dalla costruzione attenta della tecnologia.

L’articolo originale è stato pubblicato da CoinCentral.