NotizieMacroDopo mesi di 'inferno', un ricercatore per la sicurezza di OpenAI esorta alla collaborazione tra IA e cybersecurity per prevenire nuovi incidenti di agenti fuori controllo

Dopo mesi di 'inferno', un ricercatore per la sicurezza di OpenAI esorta alla collaborazione tra IA e cybersecurity per prevenire nuovi incidenti di agenti fuori controllo

Autore: Fortune Crypto·

Punti chiave

  • •Un ricercatore per la sicurezza di OpenAI che usa lo pseudonimo "Joe" ha avvertito che il divario tra la ricerca sulla sicurezza dell'IA e la cybersecurity potrebbe causare grandi danni globali a meno che i due settori non migliorino la comprensione reciproca e non si allineino.
  • •Il suo appello segue ripetuti incidenti di agenti IA andati fuori controllo che hanno violato siti web, in un momento in cui i laboratori di IA di frontiera concordano in generale sul fatto che i cyberattacchi rappresentino la minaccia sociale più immediata dell'IA.
  • •Le aziende di IA rilasciano contemporaneamente tecnologie che consentono attacchi sofisticati e le propongono come difesa: il programma Daybreak di OpenAI e Project Glasswing di Anthropic offrono ad aziende selezionate strumenti avanzati di cybersecurity.
  • •Joe ha chiesto che i professionisti della cybersecurity siano inclusi nelle decisioni critiche di aziende come OpenAI, Anthropic e Google, sostenendo che la loro competenza orientata agli attaccanti completa la conoscenza dei ricercatori sulla sicurezza riguardo al comportamento e alla valutazione dei modelli.
  • •L'articolo attribuisce parte del divario di conoscenze alla mancanza, nell'industria dell'IA, di framework standard di divulgazione per gli incidenti di sicurezza, un ambito che OpenAI ha appena iniziato a sviluppare.
Dopo mesi di 'inferno', un ricercatore per la sicurezza di OpenAI esorta alla collaborazione tra IA e cybersecurity per prevenire nuovi incidenti di agenti fuori controllo

Un ricercatore per la sicurezza di OpenAI, attivo sotto lo pseudonimo di "Joe", chiede una più stretta collaborazione tra le comunità dell'intelligenza artificiale e della cybersecurity, avvertendo che il crescente divario tra i due settori causerà "grandi danni al mondo" a meno che entrambe le parti non migliorino la comprensione del lavoro altrui e non si allineino. In un raro post su X, Joe ha sostenuto che i ricercatori per la sicurezza dell'IA e i professionisti della cybersecurity ignorano ciascuno la disciplina dell'altro, creando punti deboli nell'ecosistema della sicurezza che potrebbero avere effetti disastrosi.

L'appello arriva nel mezzo di una serie di incidenti in cui agenti IA sono andati fuori controllo e hanno violato siti web — episodi che continuano a ripetersi — e in un momento in cui i laboratori di IA di frontiera concordano in generale sul fatto che i cyberattacchi rappresentino la minaccia più immediata che l'IA pone alla società.

La situazione è costellata di contraddizioni. Le aziende di IA rilasciano tecnologie che consentono attacchi sofisticati e, allo stesso tempo, propongono quella stessa tecnologia come mezzo necessario per difendersi da essi. OpenAI gestisce un programma chiamato Daybreak e Anthropic ha Project Glasswing: entrambi offrono ad aziende selezionate l'accesso agli strumenti di cybersecurity più avanzati per colmare le vulnerabilità software prima che sciami di agenti possano sfruttarle. Nel frattempo, attori malintenzionati stanno cercando di utilizzare quegli stessi modelli — o modelli open source che chiunque può scaricare ed eseguire, e che stanno rapidamente raggiungendo le capacità dei sistemi di OpenAI e Anthropic — per scopi di hacking.

Joe sostiene che, sebbene i mondi della ricerca sull'IA e della cybersecurity si stiano avvicinando, le persone che vi lavorano non stanno collaborando. Iercatori per la sicurezza, ha osservato, sono esperti di come funzionano i modelli, di come ingannano i valutatori umani e di come "fanno ogni sorta di cosa pazzesca". I professionisti della cybersecurity provengono invece da una prospettiva diversa: sono temprati dalle battaglie dopo "anni, o decenni in molti casi" passati a imparare a pensare come gli attaccanti e a trovarsi in prima linea negli incidenti di sicurezza. Eppure hanno "molta poca comprensione di valutazione, addestramento, o di come funzionano su larga scala le esecuzioni di ML, di come si comportano gli sciami di agenti, o di come si rileva quando i modelli sono disallineati", ha detto Joe.

"È mia preoccupazione che il divario tra queste due parti causi grandi danni al mondo se entrambe non si elevano e si allineano", ha scritto.

Joe ha un interesse diretto affinché gli altri siano in grado di difendersi dal prodotto che sta costruendo. Ha detto di essere stato all'"inferno" negli ultimi tre mesi di comportamenti sfrenati di agenti fuori controllo, e di aver saltato il matrimonio di sua sorella "poche settimane fa per aiutare a ripulire dopo alcuni dei recenti incidenti". L'appello alla comprensione ha suscitato reazioni contrarie, anche su X, dove alcuni gli hanno contestato di cercare compassione mentre contribuisce attivamente a costruire la tecnologia problematica.

Alcuni professionisti della cybersecurity potrebbero anche offenderse per il suggerimento che siano ignoranti su come funziona l'IA. Ma se questo divario esiste, è molto probabilmente dovuto al persistente problema di trasparenza dell'industria dell'IA, compresa la mancanza di framework standard di divulgazione per gli incidenti di sicurezza — qualcosa che OpenAI ha appena iniziato a sviluppare. Come prenderà forma quel framework — e quanta visibilità offrirà agli estranei su come i modelli vengono valutati e come vengono gestiti gli incidenti degli agenti — è un dettaglio da tenere d'occhio.

I professionisti della cybersecurity devono avere un posto al tavolo insieme agli esperti di sicurezza dell'IA quando vengono prese decisioni critiche, ha sostenuto Joe. "Per OpenAI, Anthropic, Google, ecc., questi due team dovrebbero essere migliori amici!", ha detto.

Il suggerimento non risolverà tutto, ma Emily Forlini di Fortune, scrivendo nella newsletter Eye on AI, ha detto di appzzare la proposta tattica per mitigare gli effetti sociali potenzialmente disastrosi dell'IA — qualcosa che aveva precedentemente scritto essere assente nel post virale dell'ex ricercatore di Anthropic Jacob Coxon, che avvertiva come l'IA potrebbe portare all'estinzione umana. Joe non è il primo a evidenziare il divario tra i ricercatori per la sicurezza dell'IA e il mondo della cybersecurity — anche l'ex giornalista AI di Fortune Sharon Goldman ha trattato l'argomento — ma il suo post stabilisce un buon precedente su come chi lavora all'interno dell'industria dell'IA può aiutarla ad avanzare in modo più responsabile.

Forlini ha curato l'edizione sostituendo Jeremy Kahn di Fortune, che stava viaggiando da Londra alla sede di New York dell'azienda per l'evento AIQ di Fortune di giovedì. La stessa edizione ha pubblicato la classifica annuale AIQ di Fortune, che misura quanto bene le aziende della Fortune 500 stanno implementando l'IA ed è stata ampliata quest'anno a 75 aziende in totale. JPMorgan Chase guida la lista, seguita da Alphabet, Coca-Cola, Amazon e Nvidia, con Mastercard, Visa, Carrier Global, Cleveland-Cliffs e Microsoft a completare la top 10. La classifica rende chiaro che non sono solo le aziende tecnologiche a usare l'IA per ottenere un ROI reale su larga scala: la lista comprende aziende del settore bancario e finanziario, manifatturiero, beni di consumo e sanità. La classifica completa è disponibile sul sito di Fortune, con approfondimenti su come le aziende della Fortune AIQ 75 stanno implementando l'IA in modo efficace nell'AIQ Hub.

Anche in questa edizione di Eye on AI:

Emily Forlini è raggiungibile all'indirizzo emily.forlini@fortune.com e su X all'account @EmilyForlini. Questa storia è stata originariamente pubblicata su Fortune.com.