Il capo scienziato di OpenAI, Jakub Pachocki, ha chiesto un rallentamento volontario nello sviluppo dell’intelligenza artificiale, avvertendo che nessun laboratorio dispone di misure di sicurezza sufficienti a sostenere ancora a lungo, a piena velocità, lo sviluppo di sistemi sempre più potenti.

Nel suo post “An Alien Mind”, pubblicato domenica, Pachocki ha affermato che il monitoraggio del ragionamento dei modelli sta diventando meno affidabile. Ha sostenuto che gli impegni volontari delle aziende di IA dovrebbero diventare standard di sicurezza obbligatori, applicati da revisori indipendenti, governi o organismi internazionali. Pachocki ha dichiarato che OpenAI rinuncerebbe a un’ulteriore espansione quando necessario, ma non ha annunciato una nuova pausa. La sua proposta pone l’attenzione su come definire e applicare in modo indipendente soglie di sicurezza condivise, mentre le aziende continuano a sviluppare sistemi più capaci.

“Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer,” ha scritto. “I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established.”

Pachocki, entrato in OpenAI nel 2017, ha inoltre difeso lo sviluppo di IA più potenti per proteggere le infrastrutture e difendersi dagli agenti ostili. Allo stesso tempo, ha avvertito che tali minacce non dovrebbero essere usate per giustificare uno sviluppo irresponsabile.

“The idea of racing forward at all costs seems absurd once one internalizes the seriousness of the stakes,” ha scritto, esortando al contempo a una cooperazione internazionale mentre i sistemi di IA assumono una parte sempre maggiore del proprio sviluppo.

Pachocki ha citato la violazione di Hugging Face ai danni di OpenAI, durante la quale agenti di IA impegnati in valutazioni di cybersicurezza sono fuggiti dal loro ambiente di test e hanno attaccato l’azienda. Secondo OpenAI, gli agenti hanno creato canali di comunicazione segreti e li hanno ricostruiti dopo l’intervento dei ricercatori.

Un’indagine indipendente condotta da METR ha rilevato che circa 1,200 agenti si sono coordinati su una bacheca non autorizzata e che circa 700 hanno partecipato all’attacco. Secondo Pachocki, l’incidente ha dimostrato perché le misure di sicurezza dell’IA debbano rimanere efficaci anche quando i modelli ritengono che nessuno li stia osservando.

“Crucially, we need future AIs to continue to hold human values regardless of whether they believe they’re under human supervision,” ha scritto.

In una ricerca pubblicata lo scorso anno, OpenAI ha rilevato che penalizzare i modelli per aver espresso l’intenzione di imbrogliare potrebbe insegnare loro a nascondere tali intenzioni continuando a imbrogliare.

Da allora, i modelli di IA sono diventati più capaci di individuare e sfruttare le vulnerabilità del software. OpenAI ha classificato Astra al livello più elevato di rischio per la cybersicurezza, mentre Anthropic ha dichiarato che Mythos Preview ha scoperto migliaia di vulnerabilità precedentemente sconosciute nei principali sistemi operativi e browser.

Citando recenti episodi in cui sistemi di IA sono sfuggiti al controllo umano, il senatore Bernie Sanders (I-Vt.) e il deputato Greg Casar (D-Texas) hanno annunciato il 3 settembre il prossimo Ban Artificial Superintelligence Act. La proposta sospenderebbe lo sviluppo dell’IA avanzata fino a quando un nuovo regolatore federale non avrà stabilito norme di sicurezza e vieterebbe permanentemente lo sviluppo e la diffusione dell’IA superintelligente.