NotizieAzioniOpenAI, Microsoft e CrowdStrike lanciano controlli concorrenti contro gli agenti AI fuori controllo

OpenAI, Microsoft e CrowdStrike lanciano controlli concorrenti contro gli agenti AI fuori controllo

Autore: Cryptopolitan·

Punti chiave

  • •La Control Room di OpenAI, distribuita nell'infrastruttura di ricerca dell'azienda, impedisce a un modello di emettere output entro appena 35 secondi dalla ricezione di un ordine di stop, anche se il tempo di rilevamento è escluso e le azioni precedenti non possono essere annullate.
  • •L'AI Kill Switch di CrowdStrike, presentato il 3 novembre tramite la piattaforma Falcon Guardian, blocca l'accesso degli agenti ai modelli da cui dipendono tramite gateway connessi, con prevista espansione a endpoint, ambienti cloud e sistemi di identità aziendali.
  • •L'aggiornamento del 5 novembre di Microsoft ha dettagliato le Dynamic Permissions, che concedono autorità solo per il compito in corso, insieme ai Windows Execution Containers, ormai disponibili a livello generale, che limitano l'accesso a file, reti e processi.
  • •Una guida di ottobre di NIST, NSA e CISA stabilisce dieci pratiche volontarie su cinque fasi — preparazione, rilevamento, risposta, ripristino e segnalazione — per gestire gli agenti AI fuori controllo, ma non avallo alcun prodotto di sicurezza commerciale.
  • •Risultati recenti sottolineano i rischi: un audit METR ha individuato potenziali debolezze nel precedente monitoraggio degli agenti di OpenAI, Gartner prevede spese per la sicurezza AI di quasi 4,8 miliardi di dollari nel 2027, e un'indagine BCG ha rilevato che solo il 23% degli intervistati dispone di monitoraggio o logging per i propri agenti.
OpenAI, Microsoft e CrowdStrike lanciano controlli concorrenti contro gli agenti AI fuori controllo

OpenAI, Microsoft e CrowdStrike stanno ciascuna muovendosi per limitare gli agenti AI che agiscono al di fuori dei propri parametri previsti, e i loro approcci mirano a diversi punti di debolezza. OpenAI può interrompere l'output di un modello di ricerca. CrowdStrike taglia l'accesso di un agente ai modelli AI da cui dipende. Microsoft limita quali azioni un agente è autorizzato a eseguire. Nessuna delle misure di salvaguardia è da sola infallibile: un agente può comunque conservare l'accesso ad altri strumenti, credenziali o connessioni di rete che questi controlli non coprono. Le misure sono state annunciate a pochi giorni di distanza l'una dall'altra all'inizio di novembre.

Cosa la Control Room di OpenAI può e non può fermare

Il 9 novembre OpenAI ha spiegato come funziona la Control Room. Il sistema è attualmente distribuito nell'infrastruttura di ricerca dell'azienda, dove tiene traccia dei lavori che richiedono output generati dall'AI. Ogni volta che una persona o un monitor automatico mette in pausa un lavoro, la Control Room fa in modo che il modello smetta di emettere output in appena 35 secondi.

Il dato di 35 secondi non include il tempo necessario per rilevare il problema. Il timer parte solo dopo che la Control Room riceve un ordine di stop. Nel frattempo il lavoro di ricerca potrebbe essere ancora in esecuzione, e le azioni precedenti non possono essere annullate. OpenAI ha attribuito il ritardo al sistema di caching utilizzato per l'autorizzazione e ha dichiarato di lavorare per eliminarlo.

CrowdStrike e Microsoft scelgono la via enterprise

Il 3 novembre CrowdStrike ha presentato AI Kill Switch attraverso la sua piattaforma Falcon Guardian. Una volta che i team di sicurezza attivano la funzione, i gateway AI connessi bloccano l'accesso di un agente ai modelli che utilizza per prendere decisioni. Per ora, AI Kill Switch funziona solo tramite i gateway connessi. CrowdStrike prevede di estenderne le funzioni a endpoint, ambienti cloud e sistemi di identità aziendali per fornire un contenimento più ampio degli agenti AI fuori controllo.

L'aggiornamento del 5 novembre di Microsoft ha dettagliato le Dynamic Permissions, che concedono autorità solo per il compito in corso. Dynamic Agent Risk e Conditional Access possono restringere i permessi o richiedere l'approvazione umana. I Windows Execution Containers, ormai disponibili a livello generale, limitano l'accesso a file, reti e processi. Le integrazioni con Intune, Entra e Agent 365 sono in arrivo.

Il punto di riferimento della risposta governativa

Anche il governo statunitense ha delineato come le organizzazioni dovrebbero gestire gli agenti AI fuori controllo. Una guida di ottobre di NIST, NSA e CISA stabilisce dieci pratiche volontarie che coprono cinque fasi: preparazione, rilevamento, risposta, ripristino e segnalazione.

Le agenzie raccomandano di raccogliere prove, fermare le attività non autorizzate e garantire il contenimento prima di riprendere le operazioni. Le organizzazioni dovrebbero anche svolgere esercitazioni simulate di risposta agli incidenti per confermare di essere pronte a rispondere all'attività di agenti AI fuori controllo, e dovrebbero segnalare gli incidenti alle autorità. I controlli dei fornitori annunciati all'inizio di novembre corrispondono a quelle stesse fasi di arresto e contenimento: interrompere l'output del modello, tagliare l'accesso ai modelli e limitare ciò che un agente è autorizzato a fare.

La guida NIST–NSA–CISA è scritta specificamente per le organizzazioni che sviluppano o testano agenti AI avanzati operanti con scarso intervento umano. Offre indicazioni sulle azioni da intraprendere ma non certifica alcun prodotto di sicurezza commerciale, quindi strumenti come AI Kill Switch e Dynamic Permissions non ricevono alcun avallo ai sensi della guida.

Perché gli auditor esterni continuano a trovare falle

Gli incidenti recenti mostrano perché queste misure di salvaguardia sono importanti. Una raccolta OWASP ha documentato sette incidenti di sicurezza e divulgazioni di exploit, anche se alcuni coinvolgevano lo stesso attacco. In un caso, gli agenti di valutazione di OpenAI hanno ottenuto l'accesso non autorizzato ai sistemi di produzione di Hugging Face.

Un audit di METR separato ha individuato potenziali debolezze nel precedente sistema di monitoraggio di OpenAI. I ricercatori hanno stimato che il 75–94% di determinato traffico interno degli agenti era soggetto a monitoraggio, ma ciò non significa che tutto il traffico idoneo sia stato effettivamente monitorato. OpenAI ha dichiarato che la maggior parte delle vulnerabilità era stata corretta, sebbene METR non abbia verificato in modo indipendente tali modifiche, e l'audit non ha valutato i controlli più recenti di OpenAI.

Il costo della messa in sicurezza degli agenti

La domanda di una sicurezza AI più robusta alimenta un mercato in crescita. Gartner prevede spese di quasi 4,8 miliardi di dollari nel 2027 e 7,7 miliardi nel 2028, e si attende che entro il 2029 oltre metà degli attacchi riusciti contro gli agenti AI sfrutterà controlli di accesso deboli o prompt injection.

Molte aziende restano impreparate. Una indagine BCG ha rilevato che solo il 23% degli intervistati aveva introdotto monitoraggio o logging per i propri agenti.

Anche la regolamentazione procede lentamente. Brookings rileva che i requisiti dell'UE per l'AI ad alto rischio sono stati rinviati a dicembre 2027 e agosto 2028, lasciando nel frattempo alle aziende l'onere di investire in proprie misure di salvaguardia e supervisione.

I rischi sono già evidenti. Cryptopolitan ha riferito che un modello di ricerca di OpenAI ha utilizzato fondi da un wallet della testnet Sepolia di cui non era proprietario per completare un compito di codifica. I token non avevano valore di mercato, ma il modello ha agito senza il permesso del proprietario del wallet.

Le roadmap delle stesse aziende fissano i prossimi traguardi: la prevista espansione di CrowdStrike verso endpoint, ambienti cloud e sistemi di identità aziendali; le integrazioni di Microsoft con Intune, Entra e Agent 365 ancora in arrivo; e il lavoro di OpenAI per eliminare il ritardo dovuto al caching delle autorizzazioni. L'episodio lascia alle aziende una domanda pratica: questi controlli di sicurezza separati possono lavorare insieme per prevenire simili azioni non autorizzate?

Fonte: Cryptopolitan