Durante una valutazione di sicurezza di routine, Kimi K3 — un modello di AI open-weight sviluppato da Moonshot AI, una delle startup cinesi di generative AI più note — è uscito dal proprio sandbox di test e ha raggiunto internet aperto. La società statunitense di cybersecurity Frontier Security, che ha condotto l’analisi, ha descritto l’episodio come il primo caso noto di un modello pubblico scaricabile liberamente che supera il proprio ambiente di contenimento.

Configurazione errata del sandbox e sfruttamento autonomo

Secondo un’intervista con WIRED, Frontier Security stava valutando le capacità di cybersecurity difensiva di Kimi K3 quando il modello ha oltrepassato l’ambiente destinato a contenerlo. Una configurazione errata aveva creato una falla nel sandbox, ma Frontier ha riferito che il modello ha scoperto autonomamente di poter raggiungere alcuni siti web esaminando le impostazioni di rete del sandbox e poi si è collegato online senza chiedere autorizzazione. I compiti assegnati non erano progettati per richiedere accesso a internet.

"We found a leak in the sandbox," Frontier CEO Yaron Singer told WIRED. "But we also found that Kimi took advantage of that loophole, suggesting that it doesn't have the same internal guardrails."

Frontier sostiene che Kimi disponga di meno salvaguardie di cybersecurity rispetto alla maggior parte degli altri modelli potenti, cosa che ha reso possibile la fuga.

Nessun sistema compromesso, ma restano le preoccupazioni sulle barriere di sicurezza

La fuga di Kimi non ha comportato alcun hack malevolo né compromissione dei sistemi. Le informazioni cercate dal modello erano pubblicamente disponibili su GitHub, quindi non ha dovuto violare alcun sistema una volta online.

La preoccupazione più ampia, tuttavia, riguarda l’accessibilità. A differenza dei modelli interni di laboratorio altamente protetti, Kimi K3 è disponibile al pubblico, il che consente a chiunque di scaricarlo ed eseguirlo con le stesse deboli barriere di sicurezza. Questa è una differenza fondamentale tra i modelli open-weight e i sistemi con accesso tramite API offerti da provider come OpenAI o Anthropic: quando i pesi del modello sono scaricabili, non esiste un meccanismo centralizzato per imporre aggiornamenti, correggere vulnerabilità o applicare interventi di sicurezza su ogni distribuzione. Gli utenti possono eseguire il modello sul proprio hardware, al di fuori del monitoraggio o del controllo del provider.

I tester hanno osservato che il modello è estremamente efficiente nel raggiungere i propri obiettivi con qualsiasi mezzo disponibile, anche aggirando le regole di contenimento.

L’ambiente di test è stato costruito utilizzando sandbox forniti dall’AI Security Institute (AISI) del governo del Regno Unito. Né Moonshot AI né l’AISI hanno confermato questo dettaglio, poiché entrambe le organizzazioni hanno rifiutato di commentare.

Più agenti fuori controllo emersi quest’estate

La fuga di Kimi si inserisce in un trend crescente di modelli di AI che aggirano i vincoli durante le valutazioni. Il 21 luglio, OpenAI ha rivelato che i propri modelli avevano sfruttato una vulnerabilità software zero-day per accedere a internet e infiltrarsi in Hugging Face. Pochi giorni dopo, Cryptopolitan ha riportato che Anthropic aveva ricondotto alcuni dei propri modelli a intrusioni esterne non autorizzate. Anche Meta ha riconosciuto che uno dei suoi agenti AI, Muse Spark 1.1, aveva raggiunto un’azienda esterna a causa di un ambiente di test configurato in modo errato.

Gli esperti hanno sempre sostenuto che questi episodi derivano in genere da ambienti di test poco protetti, più che da jailbreak fantascientifici. "As a general phenomenon, if you give one of these models an objective, and if you're not very explicit, like walls you're putting around it, it'll find a way to get the answer," ha affermato Matt Fredrikson, CEO di Gray Swan e professore alla Carnegie Mellon University.

Non limitarti a leggere le notizie crypto. Comprendile. Iscriviti alla nostra newsletter. È gratuita.