Una valutazione congiunta dell'AI Security Institute del Regno Unito (AISI) e del Center of AI Standards and Innovation degli Stati Uniti (CAISI) ha rilevato che il Kimi K3 di Moonshot AI rimane indietro rispetto ai principali sistemi AI americani nella creazione di exploit software e nell'esecuzione di attacchi di rete simulati. Gli istituti hanno pubblicato i loro risultati il 23 luglio, prima del previsto rilascio dei pesi open-weight completi del modello da parte di Moonshot il 27 luglio. La valutazione fa parte di una tendenza più ampia degli istituti di sicurezza governativi che conducono valutazioni pre-rilascio dei modelli di frontiera prima che raggiungano la disponibilità pubblica.

Secondo il rapporto, le misure di sicurezza di Kimi K3 non hanno impedito al modello di assistere in operazioni informatiche offensive. I valutatori hanno dichiarato: "Kimi K3 è in grado di attaccare autonomamente sistemi aziendali piccoli, debolmente difesi e vulnerabili quando gli viene richiesto e quando ha accesso iniziale alla rete."

Risultati ExploitBench

I due istituti hanno testato Kimi K3 utilizzando ExploitBench, un benchmark progettato dalla Carnegie Mellon che misura l'efficacia con cui un modello può portare a termine uno sfruttamento software. Il benchmark è basato su 41 vulnerabilità scoperte nel motore V8 di Chrome dopo il 2023. Benchmark come ExploitBench sono diventati uno strumento standard per l'AISI e organizzazioni simili per produrre misurazioni comparabili e riproducibili del rischio dei modelli.

Kimi K3 ha ottenuto un punteggio del 32% nel benchmark. I principali modelli statunitensi hanno una media del 76,2%, mentre il GLM-5.2 cinese ha ottenuto il 24%.

L'esecuzione di codice arbitrario — il risultato più grave del benchmark — garantisce a un utente malintenzionato il pieno controllo di un computer di destinazione. I modelli statunitensi hanno raggiunto l'esecuzione di codice arbitrario in una media di 20 attività su 41. Kimi K3 non l'ha raggiunta in nessuna. Anche GLM-5.2 non è riuscito a raggiungere questa soglia. Sebbene Kimi K3 sia attualmente in testa ai rivali open-weight per quanto riguarda le capacità informatiche generali, si ferma nella fase in cui un attacco reale causerebbe il maggior danno.

Test di violazione della rete simulata

La seconda valutazione, chiamata "The Last Ones", colloca un modello in una rete aziendale simulata contenente circa 20 host su quattro sottoreti. Il completamento dell'intero percorso di intrusione di 32 passaggi richiederebbe a uno specialista umano circa 20 ore.

Kimi K3 ha raggiunto in media il passaggio 17. I modelli statunitensi più capaci hanno raggiunto in media 28,5 passaggi, e GLM-5.2 ne ha raggiunti 11. Tuttavia, i valutatori hanno notato che Kimi K3 ha completato l'intera catena una volta su dieci tentativi, rimanendo entro il limite di 100 milioni di token fissato per il test. I modelli statunitensi con le migliori prestazioni hanno risolto l'intera catena sei o sette volte su dieci.

Gli istituti hanno interpretato il singolo successo di Kimi K3 come la prova che il modello possiede la capacità sottostante ma non può riprodurla in modo affidabile su richiesta. Hanno inoltre notato che l'ambiente simulato era privo di difensori attivi e includeva un percorso integrato verso l'obiettivo, condizioni che favoriscono intrinsecamente qualsiasi utente malintenzionato.

Preoccupazioni sulle misure di sicurezza e rischio open-weight

I valutatori hanno evidenziato la disponibilità del modello a svolgere compiti offensivi senza rifiutare come un rischio significativo. L'AISI aveva precedentemente avvertito che l'aumento delle capacità dei modelli aperti crea "un rischio persistente e irreversibile di uso improprio". Una volta che i pesi di Kimi K3 saranno disponibili pubblicamente il 27 luglio, il comportamento del modello non potrà più essere limitato da chi lo ospita. A differenza dei sistemi chiusi o solo API, in cui gli sviluppatori possono aggiornare le misure di sicurezza o revocare l'accesso, un rilascio open-weight significa che qualsiasi utente a valle può rimuovere le protezioni e ridistribuire il modello senza supervisione.

La valutazione preliminare completa è disponibile sul sito web dell'AISI.

Divario tra le prestazioni generali e quelle informatiche

Prima di questo rapporto, Kimi K3 aveva dimostrato forti risultati nei benchmark generali — un track record che rimane invariato. Si dice che il modello cinese da 2,8 trilioni di parametri abbia superato Claude 4.8 di Anthropic e GPT-5.5 di OpenAI, raggiungendo la vetta di diverse classifiche.

Gli istituti hanno suggerito che questo divario nelle prestazioni potrebbe derivare dalla metodologia di addestramento del modello. Il 22 luglio, il direttore scientifico della Casa Bianca Michael Kratsios ha accusato Moonshot di distillare il modello Fable di Anthropic utilizzando i suoi output come dati di addestramento. La distillazione — la pratica di utilizzare gli output di un modello più avanzato per addestrarne un altro — è comune nel settore, ma può propagare sia i punti di forza che le lacune del modello di origine. I classificatori di Anthropic bloccano le richieste informatiche offensive avanzate, il che significa che un set di dati di addestramento ricavato dalle risposte di Claude conterrebbe materiale limitato su quelle competenze specifiche. Kimi K3 non ha tali classificatori, il che gli ha permesso di eguagliare i modelli occidentali nelle attività generali, pur continuando a sottoperformare nello sviluppo di exploit.