Anthropic ha dichiarato di aver sospeso parte delle attività di addestramento AI e delle valutazioni di cybersecurity dopo che i modelli Claude hanno compiuto azioni non autorizzate in tre diversi incidenti quest’estate.

La mossa dovrebbe allertare ulteriormente le imprese e la comunità AI sul fatto che molto resta ancora sconosciuto sui modelli di intelligenza artificiale e che, anche con le migliori misure di sicurezza in atto, questi possono comunque intraprendere azioni inattese. Evidenzia inoltre quanto rapidamente sviluppo, valutazione e distribuzione dei modelli stiano entrando in conflitto con la pianificazione della sicurezza, soprattutto mentre le organizzazioni testano agent in ambienti sandbox progettati per limitare i rischi.

Anthropic ha affermato in un post sul blog del 31 agosto che, prima degli incidenti, ha dedicato aprile a rafforzare le difese, irrigidendo gli ambienti sandbox isolati in cui operano i carichi di lavoro e riducendo il numero di account umani e automatizzati con accesso permanente ai sistemi che contengono i pesi del modello o i dati dei clienti.

Dopo gli incidenti nei sandbox, Anthropic ha dichiarato di aver sospeso temporaneamente tutte le valutazioni cyber esterne e di aver esaminato le trascrizioni delle valutazioni interne. Ha inoltre sviluppato e distribuito un classificatore personalizzato che monitora in tempo reale le chiamate agli strumenti del modello. Inoltre, ha aggiornato i requisiti per tutti i partner e i red teamer che eseguono modelli pre-rilascio, richiedendo loro di supervisionare da vicino un modello che esamina il sandbox alla ricerca di vulnerabilità.

Correlato: OpenAI, Anthropic, Google guidano l’appello a dare priorità alla cybersecurity

Le misure arrivano una settimana dopo che OpenAI ha affermato che avrebbe sospeso per due settimane l’addestramento dei suoi ultimi modelli in risposta a agent alimentati dai suoi modelli usciti dai rispettivi sandbox. Anche se entrambi i laboratori AI sembrano intensificare gli sforzi per mettere in sicurezza i modelli non ancora rilasciati, l’imprevedibilità degli AI agent e della tecnologia generativa AI indica che i fornitori devono continuare a rafforzare le proprie misure di sicurezza. Il tempismo riflette anche una sfida più ampia del settore: con l’aumento delle capacità dei modelli, i sistemi usati per testarli devono tenere il passo, altrimenti la valutazione stessa può diventare parte della superficie di rischio.

Maggiore necessità di misure di sicurezza e test

“Man mano che i modelli diventano sempre migliori nel ragionamento e iniziano ad avere agency, diventa più difficile prevedere tutti i diversi comportamenti di questi modelli”, ha detto Arun Chandrasekaran, analista di Gartner. “I laboratori hanno ancora più responsabilità nel garantire di allocare risorse adeguate per i test interni dei modelli, le eval e il reinforcement learning.”

Ha aggiunto che un’area su cui i vendor di modelli frontier devono concentrarsi è assicurarsi di avere più ingegneri nei team di sicurezza, test di affidabilità e privacy.

“O cambiano le tecniche di test o cambiano le risorse allocate ai test”, ha proseguito Chandrasekaran. “Se i modelli diventano sofisticati, anche le tecniche di test devono diventare sofisticate.”

Migliore igiene cyber

Sebbene servano più test, il fatto che Anthropic e OpenAI abbiano entrambi sospeso le attività mette in evidenza un modello pericoloso per i produttori di modelli.

“Questi sistemi vengono sviluppati e rilasciati prima che ogni rischio sia pienamente compreso o testato”, ha affermato Kashyap Kompella, CEO e fondatore di RPA2AI Research.

Correlato: Il report di OpenAI spiega nel dettaglio l’attacco a Hugging Face

“Questo è quasi diventato una caratteristica dell’attuale mercato AI”, ha continuato. Le aziende corrono per migliorare le capacità, aumentare l’adozione e conquistare la leadership di mercato, mentre l’architettura di sicurezza, i controlli di configurazione e i processi operativi intorno ai modelli continuano a maturare solo dopo il deployment.

Ha affermato che imprese e organizzazioni governative non possono esternalizzare la cybersecurity ai laboratori frontier.

“Le imprese e i governi devono assumere che l’AI offensiva ad alte capacità sia ormai parte dell’ambiente di minaccia e rafforzare di conseguenza le proprie difese”, ha aggiunto Kompella.

Anche se OpenAI e Anthropic potenziassero le proprie misure di sicurezza, ha osservato, sarebbero comunque disponibili numerosi modelli di altri provider e vendor open source. Pertanto, le imprese devono prepararsi meglio e rafforzare la propria igiene cyber e altre misure di sicurezza, come la risposta agli incidenti.

“Ogni organizzazione deve inoltre assumere che attacchi assistiti dall’AI sempre più capaci siano in arrivo e preparare di conseguenza la propria infrastruttura”, ha proseguito Kompella. “La capacità offensiva sta migliorando molto più rapidamente della preparazione cybersecurity dell’organizzazione media.”

Correlato: OpenAI espande Daybreak per affrontare la crescente minaccia alla sicurezza AI

Inoltre, le imprese non possono fidarsi che i vendor controllino se stessi.

“Affidarsi a una società di modelli affinché controlli il proprio output non può mai essere sufficiente per garantire un funzionamento sicuro in qualsiasi ambiente”, ha affermato Carter Huffman, co-fondatore e CTO del vendor di voice AI Modulate. “Utenti e aziende devono effettuare un monitoraggio in tempo reale dell’attività AI.”

Il lato indesiderato dei test

Le imprese devono anche riconoscere che uno dei modi per comprendere meglio i modelli è continuare a testarli e identificare gli incidenti che mostrano come addestrarli in modo più efficace.

“Non c’è semplicemente modo di arrivarci senza questo tipo di dolore”, ha detto David Nicholson, analista di Futurum Group. “Fino a quando non vedono accadere queste cose impreviste e non intervengono per correggerle, continueremo a vedere situazioni del genere.”

Ha aggiunto che è nella natura dei modelli portare a termine i compiti attraverso il percorso di minor resistenza, e che i modelli devono essere guidati come bambini, istruiti su ciò che possono e non possono fare e su come possono o non possono gestire un compito.

“Ogni volta che si verifica uno di questi incidenti, impariamo di più e riduciamo la probabilità di ulteriori occorrenze, non solo dello stesso tipo esatto, ma anche di categorie più ampie”, ha aggiunto Nicholson. “Si possono prendere le lezioni apprese da ciascuno di questi incidenti ed estrapolarle.”