NotizieMacroOpenAI riduce lo sviluppo dell'IA per motivi di cybersicurezza, ma potrebbe essere troppo tardi

OpenAI riduce lo sviluppo dell'IA per motivi di cybersicurezza, ma potrebbe essere troppo tardi

Autore: AI Business·

Punti chiave

  • OpenAI ha annunciato il 18 agosto che sta rallentando il ritmo di scalabilità e osservando una pausa di due settimane nell'addestramento per apprendimento per rinforzo per i suoi modelli più recenti.
  • Un agente IA basato su modelli OpenAI è sfuggito al proprio ambiente sandbox e ha violato i sistemi di produzione di Hugging Face, che ospita un'infrastruttura di modelli open source ampiamente utilizzata.
  • Anthropic ha rivelato che diverse versioni di Claude, inclusi i modelli Mythos e Opus, sono sfuggite ai sistemi di contenimento e hanno hackerato tre organizzazioni.
  • OpenAI richiede ora prove più solide di comportamento allineato durante l'intero addestramento e sta implementando un sistema di monitoraggio che invia un avviso entro 30 minuti dal rilevamento di comportamenti sospetti.
  • Analisti e accademici hanno affermato che le imprese devono rafforzare la propria sicurezza dell'IA secondo framework come l'AI Risk Management Framework del NIST e l'AI Act dell'UE, perché i rischi di cybersicurezza legati ai modelli non possono essere eliminati completamente.
OpenAI riduce lo sviluppo dell'IA per motivi di cybersicurezza, ma potrebbe essere troppo tardi

La decisione di OpenAI di rallentare lo sviluppo del suo prossimo modello in risposta alle recenti preoccupazioni di cybersicurezza dovrebbe rappresentare un segnale per le imprese: è necessario adottare misure di sicurezza più robuste, indipendentemente dal modello utilizzato per i carichi di lavoro di IA. La mossa è una risposta all'incidente di hacking ai danni di Hugging Face e ad altre preoccupazioni di cybersicurezza legate ai modelli di IA — ma le organizzazioni devono comunque rafforzare le proprie protezioni, qualunque modello decidano di implementare.

Il 18 agosto il laboratorio di IA ha rivelato che sta lavorando per anticipare gli standard di monitoraggio, allineamento e sicurezza relativi ai rischi associati allo sviluppo e al collaudo dei modelli di IA. Il fornitore ha dichiarato di rallentare il ritmo di scalabilità e di osservare una pausa di due settimane nell'addestramento per apprendimento per rinforzo per i suoi modelli più recenti. OpenAI richiede ora anche prove più solide di comportamento allineato — garantendo che i modelli rispettino gli obiettivi intenzionali, specificati ed emergenti — durante l'intero addestramento, e sta implementando un nuovo sistema di monitoraggio che invia un avviso entro 30 minuti dal rilevamento di un comportamento sospetto. Queste mosse si basano sui regimi di sicurezza già applicati dai principali laboratori — il Preparedness Framework di OpenAI e la Responsible Scaling Policy di Anthropic impegnano i rispettivi sviluppatori a valutare le capacità rischiose dei modelli prima della distribuzione.

La decisione di rallentare e concentrarsi maggiormente sulla sicurezza segue un recente incidente in cui un agente IA basato su modelli OpenAI è sfuggito al proprio ambiente sandbox e ha violato i sistemi di produzione della piattaforma di IA Hugging Face. Hugging Face ospita una delle più grandi librerie pubbliche di modelli e dataset open source, quindi la violazione ha coinvolto un'infrastruttura ampiamente utilizzata a livello di settore, e non i sistemi di un singolo fornitore. Il rivale Anthropic ha inoltre rivelato che diverse versioni di Claude, inclusi i modelli Mythos e Opus, sono sfuggite ai sistemi di contenimento e hanno hackerato tre organizzazioni. Gli incidenti hanno alimentato crescenti preoccupazioni su quanto stiano diventando potenti i modelli di IA — e sui numerosi rischi di cybersicurezza che questi comportano — in particolare mentre le imprese portano l'IA agentica, sistemi in grado di navigare autonomamente, scrivere ed eseguire codice e svolgere attività in più fasi, dalla fase pilota alla produzione, assegnando loro accesso diretto a strumenti, sistemi e dati.

«C'è sempre stata una preoccupazione per l'IA: perderà il controllo, farà qualcosa che non dovrebbe fare? La risposta è sì», ha dichiarato Mark Beccue, analista di Omdia, una divisione di Informa TechTarget. Ha aggiunto che gli incidenti che hanno coinvolto OpenAI e Anthropic renderanno probabilmente le imprese restie, almeno in parte, a fidarsi di qualsiasi modello di IA.

Un appello per un'IA più sicura — e i suoi limiti

Beccue vede anche un risvolto positivo: il fatto che l'incidente stia spingendo OpenAI e altri attori della comunità dell'IA a dare priorità a un'IA più sicura è incoraggiante e potrebbe creare nuove opportunità. «Forse imparano a farlo un po' meglio, ma questo apre anche opportunità. E ora gli esperti di cybersicurezza si stanno chiedendo come proteggerci da questo tipo di minacce, no?», ha proseguito.

Tuttavia, sebbene fornitori come OpenAI possano intensificare i propri sforzi in materia di sicurezza e rallentare l'addestramento per apprendimento per rinforzo sui prossimi modelli, il problema dei modelli che costituiscono un rischio per la cybersicurezza non è facilmente risolvibile, ha affermato Chirag Shah, professore presso la Information School dell'Università di Washington a Seattle.

«Non credo che esista una vera soluzione», ha detto Shah. «Riguardo a questo tipo di comportamenti scorretti dei modelli, ci sono cose che si possono fare per ridurne alcune occorrenze, ma non scompariranno mai».

Anche mentre i fornitori cercano di risolvere il problema, potrebbero emergere altri incidenti, ha aggiunto. Inoltre, sebbene OpenAI abbia parlato di cercare di correggere l'allineamento dei modelli per prevenire incidenti come quello di Hugging Face, ciò sarà difficile da realizzare per un'azienda che corre verso l'AGI (intelligenza artificiale generale) — il che significa che OpenAI sta creando deliberatamente sistemi che si aspetta essere più intelligenti degli esseri umani.

«Non si possono avere entrambe le cose», ha affermato Shah. «Non puoi avere un sistema generalmente capace, più intelligente di noi, e aspettarti che in qualche modo non faccia questo tipo di cose».

Ha aggiunto che OpenAI sembra stare conducendo un'operazione di contenimento dei danni con la sua decisione di rallentare lo sviluppo, ma non ha rivelato dettagli tecnici su come intenda correggere i modelli affinché smettano di comportarsi in modo scorretto. «Sul piano teorico, non è qualcosa che si può correggere», ha detto Shah. «Puoi attenuarlo, ma a meno che non abbandoni il tuo programma di AGI … non fai che creare altri problemi».

Cosa possono fare le imprese

Sebbene i fornitori potrebbero non essere in grado di eliminare i problemi di cybersicurezza associati ai modelli di IA, le imprese dovrebbero comunque puntare a disporre delle misure di sicurezza più efficaci, indipendentemente dal modello utilizzato. Framework come l'AI Risk Management Framework del NIST delineano già pratiche per identificare e gestire i rischi dell'IA, e anche la regolamentazione sta alzando l'asticella per i fornitori: l'AI Act dell'UE impone obblighi di trasparenza e sicurezza ai fornitori di modelli di IA per uso generico.

«Quando gli hacker si mettono in moto, non conterà chi ha creato il modello», ha detto Beccue. «Non importa come vengono scelti i modelli. Le imprese dovranno chiedersi: “quanto possiamo essere al sicuro?”»

Fonte: AI Business