Kimi K3 bleibt bei Cyber-Exploits weit hinter US-Frontier-Modellen zurück; Destillationsvorwürfe bieten eine mögliche Erklärung

Eine gemeinsame Bewertung des britischen AI Security Institute (UK AISI) und des U.S. Center for AI Standards and Innovation (CAISI) hat ergeben, dass Kimi K3, das neueste Modell von Moonshot AI, offensive Cyberoperationen ohne nennenswerten Widerstand unterstützt. Moonshot AI, 2023 von Yang Zhilin gegründet und von Investoren wie Alibaba und Tencent finanziert, gehört zu den bekanntesten KI-Start-ups Chinas. Während Kimi K3 bei offensiven Cybertasks deutlich hinter den führenden US-Frontier-Modellen zurückbleibt, übertrifft es Chinas GLM-5.2 und setzt einen neuen Maßstab unter den Open-Weight-Modellen.

Die integrierten Sicherheitsmechanismen des Modells konnten die Entwicklung von Exploits oder offensive Cyberoperationen nicht blockieren und leisteten beidem ohne Widerspruch Folge. Die Bewertung wurde vom UK AISI und NIST/CAISI veröffentlicht.

ExploitBench: Kimi K3 erreicht die schwersten Stufen nicht

Die Institute bewerteten die Fähigkeiten zur Exploit-Entwicklung mit ExploitBench, einem von der Carnegie Mellon University entwickelten Benchmark. ExploitBench nutzt 41 Schwachstellen, die nach 2023 in der V8-Engine von Chrome entdeckt wurden, um zu messen, wie weit ein Modell im Software-Exploitation-Prozess vorankommt.

Führende US-Modelle erreichten im Durchschnitt 76,2 Prozent Abschluss, verglichen mit 32,2 Prozent für Kimi K3 und 24,4 Prozent für GLM-5.2. Kritisch ist, dass Kimi K3 die höchste Exploit-Stufe – Arbitrary Code Execution (ACE) – in keiner der 41 Aufgaben erreichte. ACE gilt als die schwerste Exploit-Stufe, da sie Angreifern die volle Kontrolle über ein Zielsystem gewährt. Führende US-Modelle erreichten ACE in 20 der 41 Aufgaben.

Bei den US-Closed-Weight-Modellen deaktivierten die Institute die Sicherheitsmechanismen auf Systemebene, um die maximale Leistungsfähigkeit zu messen. Diese Sicherheitsmechanismen sind in den öffentlich verfügbaren Versionen aktiviert.

Simulierter Netzwerkangriff: Kimi K3 erreicht die Halbzeit

Die zweite Bewertung namens „The Last Ones" (TLO) simuliert einen Angriff auf ein Unternehmensnetzwerk mit einem 32-stufigen Angriffspfad über vier Subnetze und rund 20 Hosts. Laut den Instituten würde ein menschlicher Experte etwa 20 Stunden benötigen, um die Übung abzuschließen.

Nur eine kleine Gruppe von Modellen kann TLO überhaupt lösen. Bislang haben vier öffentlich verfügbare Closed-Weight-Modelle den Test bestanden, wobei das stärkste in sechs oder sieben von zehn Versuchen erfolgreich war.

Kimi K3 erreichte durchschnittlich Schritt 17 von 32, verglichen mit 28,5 Schritten bei führenden US-Modellen und nur 11 bei GLM-5.2. Kimi K3 absolvierte den gesamten Angriffspfad in einem von zehn Versuchen, während es innerhalb des Limits von 100 Millionen Token blieb, was zeigt, dass es die Fähigkeit besitzt, diese aber nicht zuverlässig abrufen kann.

„Kimi K3 ist in der Lage, selbstständig kleine, schwach verteidigte und angreifbare Unternehmenssysteme anzugreifen, wenn es dazu angewiesen wird und initialen Netzwerkzugang erhält", schreibt das Institut.

TLO berücksichtigt keine aktiven Verteidigungsmaßnahmen und ist daher nicht vollständig realitätsnah. Dennoch würden die Ergebnisse in realen Szenarien Alarm auslösen. Ein aktuelles Beispiel trat diese Woche auf, als OpenAI-Modelle versuchten, selbstständig in Hugging Face einzudringen. Hugging Face wehrte den Angriff erfolgreich ab, obwohl dies erheblichen Aufwand und den Einsatz von Open-Weight-Modellen erforderte.

Chinesische Modelle holen auf, bleiben aber zurück

CAISI führte eine Zeitreihenanalyse durch, die die Cyberfähigkeiten von US- und chinesischen Modellen seit Anfang 2025 anhand einer Elo-basierten Skala verfolgt. Beide Trendlinien steigen, doch chinesische Modelle bleiben konsistent hinter ihren US-Pendants zurück.

In einer früheren Analyse schätzte das britische Institut die Leistungslücke für offene Modelle auf vier bis sieben Monate, verglichen mit sechs bis zehn Monaten zu Beginn des Jahres 2025. Die neuesten Ergebnisse entsprechen diesem Muster: Chinesische Open-Weight-Modelle werden stärker, bleiben aber deutlich hinter den führenden US-Systemen zurück.

AISI warnte davor, dass diese Lücke keine Selbstgefälligkeit aufkommen lassen sollte. Die wachsenden Cyberfähigkeiten offener Modelle schaffen laut dem Institut „ein anhaltendes und unumkehrbares Risiko des Missbrauchs." Im Gegensatz zu Closed-Weight-Modellen, die Anbieter aus der Ferne aktualisieren oder einschränken können, lassen sich die Fähigkeiten von Open-Weight-Modellen nach dem Herunterladen nicht mehr widerrufen oder ihre Sicherheitsmechanismen vom Entwickler nicht mehr patchen.

Cyber-Ergebnisse stützen Destillationsvorwürfe

Die Kimi-Ergebnisse untermauern zudem die Destillationsvorwürfe gegen chinesische Modellentwickler. Destillation ist eine Technik, bei der ein Modell anhand der Ausgaben eines leistungsstärkeren Modells trainiert wird, wodurch es die Fähigkeiten des Lehrermodells annähern kann, ohne Zugang zu dessen zugrunde liegenden Gewichten oder Trainingsdaten zu haben. Der US-Wissenschaftsberater Michael Kratsios beschuldigte Moonshot AI kürzlich, Anthropics Fable zu „destillieren", indem Fables beste Ausgaben als Trainingsdaten genutzt wurden, um die Leistung von Kimi K3 zu verbessern. Kratsios behauptete zudem, dass Moonshot AI Zugang zu Nvidias GB300s hatte, die US-Exportkontrollen unterliegen. Anthropic hat ein Sicherheitsrahmenwerk für Fable veröffentlicht.

Eine Erklärung für die Diskrepanz zwischen Kimi K3s starken allgemeinen Benchmark-Ergebnissen und der schwachen Cyberleistung könnte sein, dass das Modell überwiegend mit Claude-Ausgaben zu Allgemeinwissen, Programmierung und Agenten-Aufgaben trainiert wurde. Anthropics Sicherheitsklassifizierer blockieren gezielt fortgeschrittene offensive Cyber-Abfragen, was bedeutet, dass solche Ausgaben in einem Destillationsdatensatz aus Claude-Antworten unterrepräsentiert wären. Kimi K3 könnte daher führende westliche Modelle bei Standard-Benchmarks erreichen, ohne deren tiefere Exploit-Fähigkeiten zu erwerben.

Die AISI-Ergebnisse stützen diese Interpretation. Die Institute deaktivierten die Sicherheitsmechanismen auf Systemebene bei den US-Modellen, um Cyberfähigkeiten offenzulegen, die über öffentliche Schnittstellen nahezu unzugänglich sind – und daher für die Destillation weitgehend nicht verfügbar.