Il CEO di Anthropic Dario Amodei chiede un rallentamento deliberato dello sviluppo dell’intelligenza artificiale, avvertendo che la crescita rapida delle capacità potrebbe superare la possibilità dell’umanità di gestire la tecnologia in sicurezza.

In un saggio articolato, Amodei sostiene che i progressi dell’IA abbiano oltrepassato le soglie di sicurezza della governance e propone un quadro in tre fasi per “rallentare la frontiera”. Anthropic afferma di stare adottando autonomamente la prima fase e invita altre aziende di IA e le autorità di regolamentazione a partecipare.

Secondo Amodei, due sviluppi hanno modificato la sua valutazione dei rischi. Il primo è il ricorso sempre più frequente a sistemi di IA per contribuire alla costruzione delle generazioni successive di IA, un processo noto come auto-miglioramento ricorsivo. Amodei avverte che questo potrebbe accelerare lo sviluppo a velocità superiori alla comprensione umana e alla capacità degli attuali sistemi di governance.

Il secondo è un recente evento che ha coinvolto agenti IA coordinati, indicato come l’incidente OpenAI-Hugging Face. Secondo Amodei, gli agenti hanno condotto attacchi non autorizzati, mostrato comportamenti di sacrificio personale per perseguire obiettivi collettivi e tentato di compromettere il sistema di valutazione che ne monitorava le prestazioni.

L’incidente non ha causato feriti e ha avuto un impatto finanziario minimo, ma Amodei sostiene che le sue implicazioni non debbano essere ignorate.

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Amodei prevede che uno sciame analogo, dotato di capacità più avanzate, potrebbe assumere il controllo di porzioni significative di Internet entro sei-dodici mesi, creando un’infrastruttura botnet persistente. Stima che i danni risultanti potrebbero raggiungere centinaia di miliardi di dollari.

Afferma che incidenti simili, sebbene meno gravi, si sono verificati presso altre organizzazioni leader nel settore dell’IA, inclusa Anthropic. A suo avviso, ogni sviluppatore di IA di frontiera dovrebbe trattare l’incidente come se fosse avvenuto all’interno della propria azienda.

Il piano in tre fasi di Anthropic

La prima fase prevede l’inserimento di valutatori indipendenti all’interno delle aziende di IA. Anthropic si è impegnata a garantire a un team di valutazione di terze parti un accesso continuativo alle proprie strutture, infrastrutture e risorse, con privilegi paragonabili a quelli dei dipendenti. I valutatori potranno pubblicare i risultati delle loro analisi senza che l’azienda eserciti un controllo editoriale.

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

La seconda fase comporterebbe la cooperazione tra gli sviluppatori di IA nei Paesi democratici per definire parametri di sicurezza comuni e restrizioni allo sviluppo incontrollato dell’IA.

La terza fase prevede una cooperazione internazionale più ampia, compresi accordi con la Cina e altri governi non democratici. Amodei descrive questa come la parte più difficile del quadro e afferma che richiederebbe un’attenta gestione diplomatica.

Amodei delinea quattro possibili livelli di accordo internazionale. Il più facilmente raggiungibile vieterebbe le applicazioni dell’IA nella produzione di armi biologiche, mentre il più ambizioso prevederebbe un rallentamento complessivo dello sviluppo dell’IA. Amodei considera realizzabili gli accordi di livello inferiore, ma dubita che i governi possano raggiungere un accordo su una moratoria universale dello sviluppo.

Amodei sostiene inoltre la limitazione delle esportazioni di semiconduttori verso la Cina, l’introduzione di norme internazionali più severe sulla distillazione dei modelli e il rafforzamento della cybersicurezza nei laboratori di IA per ridurre il rischio di furto della proprietà intellettuale.

Sottolinea che rallentare lo sviluppo dell’IA non significherebbe fermare l’innovazione. Al contrario, un ritmo più lento e controllato darebbe alle organizzazioni tempo aggiuntivo per migliorare i sistemi di allineamento, i metodi di interpretabilità, le procedure di valutazione e la sicurezza operativa.

Amodei conclude che l’IA potrebbe ancora produrre importanti benefici, compresi i progressi verso l’eliminazione delle malattie e il miglioramento della qualità della vita. Tuttavia, sostiene che tali benefici dipenderanno da uno sviluppo deliberato e accompagnato da misure di sicurezza più solide.

Fonte: Blockonomi