Kimi K3 resta molto indietro rispetto ai modelli frontier statunitensi negli exploit informatici; le accuse di distillazione offrono una possibile spiegazione

Una valutazione congiunta del British AI Security Institute (UK AISI) e dello U.S. Center for AI Standards and Innovation (CAISI) ha rilevato che l'ultimo modello di Moonshot AI, Kimi K3, assiste nelle operazioni cyber offensive senza una resistenza significativa. Moonshot AI, fondata nel 2023 da Yang Zhilin e sostenuta da investitori tra cui Alibaba e Tencent, è una delle startup di intelligenza artificiale più importanti della Cina. Sebbene Kimi K3 resti notevolmente indietro rispetto ai principali modelli frontier statunitensi nei compiti cyber offensivi, supera GLM-5.2 della Cina e stabilisce un nuovo parametro di riferimento tra i modelli open-weight.

Le protezioni integrate del modello non sono riuscite a bloccare lo sviluppo di exploit né le operazioni cyber offensive, e il modello ha assistito in entrambi i casi senza opporsi. La valutazione è stata pubblicata da UK AISI e NIST/CAISI.

ExploitBench: Kimi K3 non raggiunge i livelli più difficili

Gli istituti hanno valutato le capacità di sviluppo di exploit usando ExploitBench, un benchmark sviluppato dalla Carnegie Mellon University. ExploitBench utilizza 41 vulnerabilità scoperte nel motore V8 di Chrome dopo il 2023 per misurare quanto un modello riesca ad avanzare lungo la pipeline di sfruttamento software.

I principali modelli statunitensi hanno registrato in media un completamento del 76,2%, rispetto al 32,2% di Kimi K3 e al 24,4% di GLM-5.2. In modo significativo, Kimi K3 non è riuscito a raggiungere il livello di exploit più alto — Arbitrary Code Execution (ACE) — in nessuno dei 41 compiti. ACE è considerato il livello di exploit più grave perché consente agli aggressori di ottenere il controllo completo di un sistema bersaglio. I principali modelli statunitensi hanno raggiunto ACE in 20 dei 41 compiti.

Per i modelli statunitensi closed-weight, gli istituti hanno disattivato le protezioni a livello di sistema per misurarne le capacità massime. Tali protezioni restano attive nelle versioni disponibili pubblicamente.

Attacco di rete simulato: Kimi K3 arriva a metà percorso

La seconda valutazione, chiamata "The Last Ones" (TLO), simula un attacco a una rete aziendale che prevede un percorso di attacco in 32 passaggi attraverso quattro sottoreti e circa 20 host. Secondo gli istituti, un esperto umano avrebbe bisogno di circa 20 ore per completare l'esercizio.

Solo un piccolo gruppo di modelli è in grado di risolvere TLO. Finora, quattro modelli closed-weight disponibili pubblicamente hanno superato il test, con i più forti che riescono nell'impresa in sei o sette tentativi su dieci.

Kimi K3 ha raggiunto in media il passaggio 17 su 32, rispetto ai 28,5 passaggi dei principali modelli statunitensi e agli 11 di GLM-5.2. Kimi K3 ha completato l'intero percorso di attacco in uno su dieci tentativi restando entro il limite di 100 milioni di token, dimostrando di possedere la capacità ma di non riuscire ad attivarla in modo affidabile.

"Kimi K3 is capable of autonomously attacking small, weakly defended and vulnerable enterprise systems, when directed to do so and given initial network access," scrive l'istituto.

TLO non tiene conto delle misure di difesa attiva, quindi non è pienamente realistico. Tuttavia, i risultati solleverebbero comunque segnali di allarme in scenari reali. Un esempio rilevante è emerso all'inizio di questa settimana, quando modelli di OpenAI hanno tentato di violare autonomamente Hugging Face. Hugging Face ha respinto con successo l'attacco, anche se ciò ha richiesto uno sforzo significativo e l'impiego di modelli open-weight.

I modelli cinesi riducono il divario, ma restano indietro

CAISI ha condotto un'analisi temporale monitorando le capacità cyber dei modelli statunitensi e cinesi dall'inizio del 2025 usando una scala basata su Elo. Entrambe le linee di tendenza sono in crescita, ma i modelli cinesi restano costantemente indietro rispetto alle controparti statunitensi.

In un'analisi precedente, l'istituto britannico aveva stimato il divario di prestazioni per i modelli open in quattro-sette mesi, rispetto ai sei-dieci mesi dell'inizio del 2025. I risultati più recenti sono coerenti con questo andamento: i modelli cinesi open-weight stanno migliorando, ma restano nettamente dietro ai principali sistemi statunitensi.

AISI ha avvertito che questo divario non dovrebbe generare compiacenza. Le crescenti capacità cyber dei modelli open creano quello che l'istituto descrive come "a persistent and irreversible risk of misuse." A differenza dei modelli closed-weight, che i fornitori possono aggiornare o limitare da remoto, i modelli open-weight — una volta scaricati — non possono vedersi revocare le capacità né ricevere patch alle protezioni da parte dello sviluppatore.

Risultati cyber coerenti con le accuse di distillazione

I risultati su Kimi danno inoltre peso alle accuse di distillazione rivolte agli sviluppatori cinesi di modelli. La distillazione è una tecnica in cui un modello viene addestrato sugli output di un modello più capace, consentendogli di approssimare le capacità del modello insegnante senza accesso ai suoi pesi sottostanti o ai dati di addestramento. Il consigliere scientifico statunitense Michael Kratsios ha recentemente accusato Moonshot AI di aver "distillato" Fable di Anthropic usando i migliori output di Fable come dati di addestramento per migliorare le prestazioni di Kimi K3. Kratsios ha inoltre sostenuto che Moonshot AI avesse accesso ai GB300s di Nvidia, soggetti ai controlli sulle esportazioni degli Stati Uniti. Anthropic ha pubblicato un framework di protezioni per Fable.

Una possibile spiegazione della disparità tra i forti punteggi generali di Kimi K3 nei benchmark e le sue deboli prestazioni cyber è che il modello possa essere stato addestrato principalmente su output di Claude riguardanti conoscenza generale, programmazione e compiti agentici. I classificatori di sicurezza di Anthropic bloccano specificamente le query cyber offensive avanzate, il che significa che tali output sarebbero sottorappresentati in qualsiasi dataset di distillazione costruito a partire dalle risposte di Claude. Kimi K3 potrebbe quindi eguagliare i principali modelli occidentali nei benchmark standard senza acquisirne le capacità di exploit più profonde.

I risultati di AISI supportano questa interpretazione. Gli istituti hanno disattivato le protezioni a livello di sistema sui modelli statunitensi per rivelare capacità cyber quasi impossibili da raggiungere tramite interfacce pubbliche — e quindi in larga misura non disponibili per la distillazione.