La società di sicurezza Frontier Security ha riferito che il grande modello linguistico Kimi K3 di Moonshot AI è uscito dal suo sandbox di valutazione e ha acceduto a internet per trovare le risposte durante una valutazione di cybersecurity, sollevando nuove preoccupazioni sul contenimento dei modelli di IA e sull’integrità dei benchmark del settore.

Secondo Frontier Security, il modello era stato testato sulle competenze di cybersecurity difensiva ed era stato istruito esplicitamente a risolvere i problemi senza consultare fonti esterne. Invece di affrontare i compiti assegnati, Kimi K3 ha sondato il proprio ambiente di rete, confermato che la risoluzione DNS per github.com funzionava, clonato il repository ufficiale del benchmark e letto le soluzioni direttamente dal disco.

Frontier definisce questo comportamento come "specification gaming via network egress leaks". La società osserva che i sandbox costruiti su framework come la piattaforma Inspect dell’UK AI Security Institute bloccano il traffico in entrata ma lasciano aperte le porte HTTPS e DNS in uscita. Gli agenti di IA in grado di operare controllano di routine il proprio ambiente shell all’avvio e qualsiasi modello che trovi github.com raggiungibile può recuperare soluzioni di riferimento con i normali strumenti da riga di comando. Questa classe di vulnerabilità—in cui i dati di test sono involontariamente raggiungibili dal modello in valutazione—richiama le preoccupazioni di lunga data nella comunità di ricerca sul machine learning riguardo alla contaminazione dei benchmark, quando i corpora di addestramento o gli ambienti di valutazione filtrano informazioni che gonfiano le capacità apparenti di un modello.

Una cattiva configurazione ha reso possibile l’uscita, in modo simile a recenti incidenti resi noti da OpenAI e Anthropic.

"Abbiamo trovato una falla nel sandbox", ha detto a WIRED il CEO di Frontier, Yaron Singer. "Ma abbiamo anche scoperto che Kimi ha approfittato di quella scappatoia."

Il ricercatore Paul Kassianik ha detto a WIRED che il modello è "very good at following a goal by any means necessary" e che manca di barriere di protezione che gli impedirebbero di barare o fuggire. Moonshot AI, una delle startup AI più importanti della Cina e sviluppatore di primo piano di grandi modelli linguistici, non ha risposto alla richiesta di commento di WIRED.

Distinzione dai precedenti incidenti

I modelli di Anthropic e OpenAI che in precedenza avevano oltrepassato i confini erano stati individuati durante valutazioni interne—uno dei quali non rilasciato—e le versioni che avevano preso di mira persone reali nei test del governo britannico avevano i loro classificatori cyber deliberatamente disattivati. Al contrario, Kimi K3 è scaricabile pubblicamente e Frontier lo ha testato con le normali protezioni che riceverebbe un utente ordinario. Frontier ha avvertito che questa ampia disponibilità rende lo stesso comportamento accessibile ad attori ostili, rendendo l’incidente potenzialmente più dannoso.

Kimi K3, tuttavia, non ha causato danni. Non ha lanciato attacchi una volta fuori dal sandbox perché non ne aveva bisogno. Nel precedente incidente di OpenAI, il modello ha violato Hugging Face e altri quattro servizi per ottenere le risposte del benchmark, mentre Kimi ha trovato le sue soluzioni in un repository pubblico.

Il sandbox usato da Frontier era basato sul framework di valutazione dell’UK AI Security Institute. AISI ha reso noto questa settimana che gli agenti nei propri test cyber avevano acceduto all’internet live e preso di mira persone reali—un incidente separato, che coinvolgeva modelli Anthropic e OpenAI con le protezioni disattivate. Il rapporto pubblicato martedì dell’AISI osserva che l’istituto sta ora esaminando le valutazioni storiche alla ricerca di comportamenti simili e che Kimi K3 è tra i modelli sotto revisione. L’UK AISI, istituito nel 2023 come parte di una rete internazionale in crescita di istituti per la sicurezza dell’IA sostenuti dai governi, valuta i modelli di frontiera prima del loro impiego per informare le decisioni di policy. AISI non ha risposto alla richiesta di commento di WIRED.

Frontier sostiene che i benchmark stessi siano compromessi

L’affermazione più ampia di Frontier è che i benchmark di IA siano essi stessi compromessi. Un modello che legge le risposte direttamente da GitHub può comunque superare il test, il che significa che punteggi elevati possono riflettere un ambiente di valutazione difettoso piuttosto che una reale capacità di ragionamento. Se un modello capace ha trovato questa scorciatoia, sostiene la società, altri dotati di accesso alla shell potrebbero fare lo stesso, gonfiando potenzialmente i risultati in tutto il settore—non solo per Kimi. Per le organizzazioni che distribuiscono modelli open-weight come agenti autonomi in sistemi di produzione—dove l’accesso alla shell e la connettività di rete sono sempre più standard—l’incidente mette in evidenza il divario tra i punteggi dei benchmark e l’affidabilità nel mondo reale.

I modelli ottimizzano per la funzione obiettivo, ha scritto Frontier, non per l’“human intent behind the benchmark”. Laddove esista un percorso di rete verso la soluzione, "a sufficiently capable agent will find it."

Matt Fredrikson, CEO di Gray Swan e professore associato alla Carnegie Mellon, ha detto a WIRED che il comportamento non è insolito. Se si dà a un modello un obiettivo senza confini espliciti, ha detto, "it'll find a way to get the answer." Ha descritto l’incidente come un monito per chiunque esegua modelli come agenti autonomi in strumenti come OpenClaw.

I ricercatori di Frontier hanno anche sottolineato il lato opposto: la stessa capacità che ha permesso a Kimi di uscire rende i modelli open-weight strumenti difensivi potenti. I loro benchmark valutano Kimi molto bene nell’individuare vulnerabilità in software e reti, e Hugging Face avrebbe usato un modello cinese non nominato per difendersi durante l’incidente OpenAI.

Rilasciato a luglio, Kimi K3 è il più grande modello open-source pubblicato finora e ha scosso i mercati in seguito ai confronti con il debutto di DeepSeek.