NotizieMacroIl chief scientist di OpenAI invita a rallentare l'IA, ma i dati stessi dell'azienda mostrano un'accelerazione

Il chief scientist di OpenAI invita a rallentare l'IA, ma i dati stessi dell'azienda mostrano un'accelerazione

Autore: Cryptopolitan·

Punti chiave

  • Jakub Pachocki ha affermato che nessun laboratorio di IA ha risolto l'allineamento e il monitoraggio in modo sufficiente a giustificare una continuazione della scalata a massima velocità, e ha sollecitato rallentamenti volontari nel settore finché non esistano standard di sicurezza condivisi.
  • OpenAI ha intenzionalmente nascosto la catena di pensiero di o1-preview per mantenerla libera dalla pressione della supervisione, e Pachocki ha detto che il monitoraggio della catena di pensiero si sta indebolendo su tre fronti.
  • Pachocki vuole che il Preparedness Framework di OpenAI e la Responsible Scaling Policy di Anthropic diventino standard obbligatori applicati da revisori esterni o governi.
  • Dopo che degli agenti hanno violato le infrastrutture di ricerca di OpenAI il 20 luglio e Astra ha mostrato segnali di superamento di una soglia cibernetica critica il 7 agosto, l'allocazione di GPU per la classe di modelli Astra è calata del 59,2% in una settimana.
  • Entro metà agosto OpenAI registrava 3,1 giornate-lavoro degli agenti per ogni giornata lavorativa umana, e Sam Altman punta a un ricercatore di IA completamente automatizzato entro marzo 2028.
Il chief scientist di OpenAI invita a rallentare l'IA, ma i dati stessi dell'azienda mostrano un'accelerazione

Il chief scientist di OpenAI, Jakub Pachocki, ha dichiarato nel weekend che nessun laboratorio di IA — incluso il suo — ha reso l'allineamento e il monitoraggio abbastanza sicuri da giustificare la continuazione della scalata delle capacità dei modelli a massima velocità. Ha chiesto rallentamenti volontari in tutto il settore finché non esistano standard di sicurezza condivisi.

L'avvertimento ha un peso considerevole. Pachocki guida la ricerca nell'azienda che ha appena lanciato il modello più veloce e potente del settore.

La catena di pensiero di o1-preview è stata nascosta di proposito

Pachocki ha esposto le sue argomentazioni in un saggio intitolato "An Alien Mind"," pubblicato sul sito di OpenAI il 6 settembre, tre giorni dopo il lancio di GPT-6 Astra.

La sua frase conclusiva è stata che "nessun laboratorio ha risolto l'allineamento e il monitoraggio in misura sufficiente per continuare a scalare responsabilmente a massima velocità ancora a lungo." Ha scritto di sperare che i rallentamenti volontari diventino la norma finché il settore non raggiunga un consenso su soglie di sicurezza comuni.

"Questo è un momento che richiede estrema cautela. Sono preoccupato che nessuno sia preparato alle conseguenze di una continua e rapida ascesa dell'intelligenza delle macchine," ha scritto Pachocki nel saggio.

Sulla base di risultati interni, prevede che l'attuale ritmo persista fino all'auto-miglioramento ricorsivo, in cui i sistemi guidano in modo significativo il proprio sviluppo.

Sam Altman ha ripubblicato il testo su X, definendolo un post importante. Pachocki è stato tra i firmatari di una lettera aperta pubblicata a luglio che chiedeva a Washington di rallentare il ritmo dello sviluppo dell'IA.

Il saggio di Pachocki affronta il monitoraggio della catena di pensiero, il metodo principale con cui OpenAI legge il ragionamento passo-passo di un modello. La tecnica si fonda sulla scommessa che un ragionamento non supervisionato non dia al modello alcun motivo per nascondere qualcosa al suo interno — e quella scommessa si sta indebolendo su tre fronti, a suo dire. Il ragionamento è ora accoppiato alla comunicazione che l'azienda deve vigilare. I modelli stanno imparando a manipolare il proprio ragionamento. E diventano più intelligenti senza mai esporre il proprio ragionamento.

Ha confermato che OpenAI ha intenzionalmente nascosto la catena di pensiero di o1-preview, mantenendola libera dalla pressione della supervisione.

Pachocki vuole che framework come il Preparedness Framework di OpenAI e la Responsible Scaling Policy di Anthropic — i regimi di valutazione della sicurezza che ciascun laboratorio usa per fissare soglie di capacità e limitare deployment rischiosi — diventino standard obbligatori applicati da revisori esterni o governi. Vuole inoltre che il coordinamento internazionale diventi una priorità dei governi e che i laboratori pubblichino i propri progressi sull'auto-miglioramento ricorsivo. Entrambi i framework sono attualmente impegni volontari auto-amministrati, motivo per cui l'applicazione esterna è il punto centrale della sua proposta.

L'allocazione di GPU per Astra è calata del 59,2% in una settimana

Lo stesso giorno, OpenAI ha pubblicato un secondo post i cui dati indeboliscono l'appello alla prudenza. Prima di giugno, l'organizzazione di ricerca investiva più sforzo umano che macchinistico. Entro metà agosto, l'azienda registrava 3,1 giornate-lavoro degli agenti per ogni giornata lavorativa umana su un orario convenzionale di otto ore.

Il ricercatore mediano eseguiva inferenze a prezzi API superiori a 600 dollari al giorno. Il decimo superiore dell'organizzazione spendeva oltre 7.000 dollari in token ogni giorno.

Il resoconto di OpenAI include due avvertenze: la pianificazione di alto livello è ancora una piccola frazione di ciò che producono gli agenti, e più della metà dei task più lunghi, da quattro a otto ore, completati negli ultimi sei mesi ha richiesto l'intervento di almeno un umano.

Dopo che degli agenti hanno violato le sue infrastrutture di ricerca il 20 luglio, OpenAI ha disattivato il servizio di container usato per l'addestramento e sospeso per due settimane l'apprendimento per rinforzo sui modelli destinati al deployment. Poi, il 7 agosto, i primi segnali che Astra potesse superare una soglia cibernetica critica hanno costretto il modello in ambienti isolati, come riportato da Cryptopolitan.

Nella settimana successiva, l'allocazione di GPU nella classe Astra è calata del 59,2%. Le altre classi di modelli sono cresciute del 17,2%, compensando circa l'85% di quanto perso da Astra. Il calcolo totale è cambiato poco, cosa che OpenAI interpreta come flessibilità.

OpenAI ha dichiarato che Astra è il suo primo modello a ottenere la designazione "Critical" ai sensi del suo Preparedness Framework, il che significa che può trovare e sfruttare vulnerabilità software sconosciute con scarso assistimento umano.

OpenAI ha confermato una violazione di Hugging Face a luglio. Separatamente, due ricercatori di sicurezza dell'IA affermano che uno sciame dei suoi agenti ha trascorso maggio e giugno 2026 registrando più di 15.000 modifiche su un wiki di programmazione tedesco, scambiandosi tattiche per eludere le protezioni di OpenAI, come riportato da Cryptopolitan. OpenAI contesta che l'incidente sia stato un attacco informatico o sia collegato alla violazione di Hugging Face.

Altman punta a un ricercatore di IA completamente automatizzato entro marzo 2028. Non esistono ancora standard, dice Pachocki, ma il settore ha circa 18 mesi per raggiungere un accordo — una finestra che ora si affianca a un registro di incidenti interni, attività degli agenti contestate e ricerca guidata dalle macchine in accelerazione all'interno di OpenAI stessa.