Un ricercatore senior sulla sicurezza di Anthropic ha dichiarato martedì che l’intelligenza artificiale ha una probabilità superiore al 10% di “uccidere tutti gli esseri umani” entro “il prossimo decennio”, rispondendo a un ex dipendente che si è dimesso dopo aver accusato la società di agire in modo irresponsabile.

L’ex ricercatore di Anthropic e OpenAI Jacob Coxon ha scritto domenica, in una lunga serie di post su X pubblicata in occasione delle sue dimissioni, che “le persone che stanno costruendo l’IA credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio”.

“Mi sono dimesso da Anthropic oggi. Ho trascorso gli ultimi tre anni facendo ricerca sul pretraining sia presso OpenAI sia presso Anthropic. Nessuna delle due società sta agendo responsabilmente. Stanno correndo dritte verso un’intelligenza artificiale superiore capace di auto-migliorarsi e stanno scommettendo sulle nostre vite”, ha scritto Coxon.

Evan Hubinger, responsabile della scienza dell’allineamento di Anthropic, ha risposto alla serie di post di Coxon con un post citato. Hubinger ha affermato che la valutazione di Coxon era corretta, aggiungendo tuttavia alcune precisazioni sull’origine e sulle tempistiche del rischio.

“Jacob ha ragione: crediamo davvero, sinceramente, che l’IA potrebbe uccidere tutti gli esseri umani!”, ha scritto Hubinger. “Personalmente penso che la probabilità sia >10% entro il prossimo decennio. Credo che Anthropic stia facendo del suo meglio, ma non abbiamo ancora un piano per risolvere il problema dell’allineamento dell’intelligenza artificiale superiore e non siamo chiaramente sulla buona strada per farlo.”

Hubinger ha affermato che il rischio potenzialmente letale non deriva dagli attuali modelli di IA. “Per essere chiari, come affermiamo nel nostro più recente Risk Report, penso che il rischio derivante dai modelli attuali sia basso”, ha scritto. “Ciò che mi preoccupa è l’emergere di un’intelligenza artificiale superiore attraverso il miglioramento ricorsivo, che, come abbiamo detto, sta avvenendo più rapidamente di quanto pensassimo.”

Il miglioramento automatico indica la capacità di un modello di IA di potenziare continuamente il proprio codice sorgente o i propri metodi di addestramento. Coxon ha citato specificamente la ricerca su questa capacità come una delle ragioni principali delle sue dimissioni.

“Presto questi saranno sistemi sovrumani in grado di hackerare qualsiasi cosa, rivoluzionare qualsiasi settore in una notte e acquisire potere e risorse reali. Abbiamo tutti assistito ai progressi in ciascuno di questi ambiti e i progressi non stanno rallentando”, ha scritto Coxon nella sua serie di post su X.

Coxon ha affermato che gli scienziati di Anthropic comprendono i rischi del loro lavoro, ma continuano ad avanzare perché temono che una società meno responsabile possa sbloccare per prima quelle capacità potenzialmente disastrose.

“Ad Anthropic, la posta in gioco è ben compresa, ma sono coinvolti in una corsa per arrivare per primi: credono che nessun altro agirà responsabilmente, quindi devono farlo loro, nonostante il rischio”, ha aggiunto Coxon.

Per evitare quella che ha descritto come una catastrofe assoluta, Coxon ha suggerito che il mondo potrebbe aver bisogno di un divieto temporaneo sul miglioramento delle capacità dei modelli.

“Non mi sembra che siamo sulla buona strada per impedire una corsa globale, che potrebbe richiedere misure costose come un divieto temporaneo di migliorare le capacità dei modelli”, ha scritto.

Coxon ha infine esortato i ricercatori e gli sviluppatori di IA di tutto il mondo a considerare le conseguenze del loro lavoro e ad agire in modo più responsabile.

“Se sei un ricercatore di laboratorio, ti esorto a riflettere su come saranno realmente i prossimi anni. Vuoi avviare un processo di RL con un’intelligenza artificiale superiore senza una comprensione rigorosa della sua mente? Dovresti tenere la testa bassa perché ‘sta comunque accadendo’ oppure cogliere questo momento per chiedere condizioni diverse?”, ha concluso nella sua serie di post su X.

FOX Business ha contattato Coxon, Hubinger, Anthropic e OpenAI per un ulteriore commento.