Britische und US-amerikanische KI-Institute stellen fest, dass Moonshots Kimi K3 bei Cyberangriff-Fähigkeiten hinter US-Frontier-Modellen zurückbleibt
Wichtige Erkenntnisse
- •Kimi K3 erzielte 32 % auf dem ExploitBench-Benchmark zur Exploit-Entwicklung, weit unter dem Durchschnitt von 76,2 % der führenden US-Modelle, und erreichte bei keiner der 41 getesteten Schwachstellen eine beliebige Code-Ausführung.
- •Bei einem simulierten Unternehmensnetzwerk-Einbruchtest schloss Kimi K3 die vollständige 32-stufige Eindringungskette nur in einem von zehn Versuchen ab, während die besten US-Modelle sechs- oder siebenmal erfolgreich waren.
- •Das Modell verweigerte keine offensiven Cyber-Aufgaben, und die Prüfer warnten, dass seine Open-Weight-Veröffentlichung am 27. Juli es jedem nachgelagerten Nutzer ermöglichen wird, Schutzmaßnahmen zu entfernen und das Modell ohne Aufsicht neu einzusetzen.
- •Kimi K3s Unterlegenheit bei Cyberfähigkeiten trotz starker allgemeiner Benchmark-Ergebnisse könnte auf die Destillation unter Verwendung von Ausgaben aus Anthropics Modellen zurückzuführen sein, die offensive Cyber-Anfragen blockieren und daher nur begrenzte relevante Trainingsdaten lieferten.
- •Die Bewertung ist Teil einer aufkommenden Praxis, bei der staatlich unterstützte Sicherheitsinstitute Vorab-Bewertungen von Frontier-KI-Modellen vor deren öffentlicher Verfügbarkeit durchführen.
Eine gemeinsame Bewertung des AI Security Institute (AISI) des Vereinigten Königreichs und des US Center of AI Standards and Innovation (CAISI) hat ergeben, dass Kimi K3 von Moonshot AI beim Aufbau von Software-Exploits und der Durchführung simulierter Netzwerkangriffe hinter den führenden amerikanischen KI-Systemen zurückbleibt. Die Institute veröffentlichten ihre Ergebnisse am 23. Juli, vor Moonshots geplanter Veröffentlichung der vollständigen Open Weights des Modells am 27. Juli. Die Bewertung ist Teil eines breiteren Musters staatlich unterstützter Sicherheitsinstitute, die Vorab-Bewertungen von Frontier-Modellen durchführen, bevor diese öffentlich verfügbar werden.
Laut dem Bericht hinderten die Schutzmaßnahmen von Kimi K3 das Modell nicht daran, bei offensiven Cyberoperationen zu assistieren. Die Prüfer erklärten: „Kimi K3 ist in der Lage, kleine, schwach verteidigte und angreifbare Unternehmenssysteme selbstständig anzugreifen, wenn es dazu angewiesen wird und über einen anfänglichen Netzwerkzugriff verfügt.“
ExploitBench-Ergebnisse
Die beiden Institute testeten Kimi K3 mit ExploitBench, einem von Carnegie Mellon entwickelten Benchmark, der misst, wie effektiv ein Modell einen Software-Exploit bis zum Abschluss führen kann. Der Benchmark basiert auf 41 Schwachstellen, die nach 2023 in der V8-Engine von Chrome entdeckt wurden. Benchmarks wie ExploitBench sind zu einem Standardwerkzeug für AISI und vergleichbare Institutionen geworden, um vergleichbare, reproduzierbare Messungen des Modellrisikos zu erstellen.
Kimi K3 erreichte im Benchmark 32 %. Die führenden US-Modelle erzielten im Durchschnitt 76,2 %, während Chinas GLM-5.2 auf 24 % kam.
Beliebige Code-Ausführung – das schwerwiegendste Ergebnis des Benchmarks – gewährt einem Angreifer volle Kontrolle über einen Zielrechner. US-Modelle erreichten beliebige Code-Ausführung bei durchschnittlich 20 von 41 Aufgaben. Kimi K3 erreichte sie bei keiner einzigen. Auch GLM-5.2 schaffte es nicht, diese Schwelle zu überschreiten. Während Kimi K3 derzeit bei allgemeinen Cyberfähigkeiten die Konkurrenz im Bereich der Open-Weight-Modelle anführt, versagt es an dem Punkt, an dem ein tatsächlicher Angriff den größten Schaden anrichten würde.
Simulierter Netzwerkeinbruch-Test
Die zweite Bewertung mit dem Namen „The Last Ones“ platziert ein Modell in einem simulierten Unternehmensnetzwerk mit etwa 20 Hosts verteilt über vier Subnetze. Den vollständigen 32-stufigen Eindringpfad abzuschließen, würde einen menschlichen Fachmann ungefähr 20 Stunden dauern.
Kimi K3 erreichte durchschnittlich Schritt 17. Die leistungsfähigsten US-Modelle erreichten durchschnittlich 28,5 Schritte, und GLM-5.2 kam auf 11. Die Prüfer stellten jedoch fest, dass Kimi K3 bei einem von zehn Versuchen die gesamte Kette abschloss und dabei unter der für den Test festgelegten Grenze von 100 Millionen Token blieb. Die besten US-Modelle lösten die vollständige Kette in sechs oder sieben von zehn Fällen.
Die Institute werteten den einzigen erfolgreichen Durchlauf von Kimi K3 als Beweis dafür, dass das Modell über die zugrunde liegende Fähigkeit verfügt, sie aber nicht zuverlässig auf Abruf reproduzieren kann. Sie wiesen auch darauf hin, dass die simulierte Umgebung keine aktiven Verteidiger enthielt und einen integrierten Pfad zum Ziel aufwies – Bedingungen, die naturgemäß jeden Angreifer begünstigen.
Bedenken hinsichtlich Schutzmaßnahmen und Open-Weight-Risiko
Die Prüfer hoben die Bereitschaft des Modells hervor, offensive Aufgaben ohne Verweigerung auszuführen, als erhebliches Risiko. AISI hatte zuvor davor gewarnt, dass steigende Open-Model-Fähigkeiten „ein anhaltendes und unumkehrbares Missbrauchsrisiko“ schaffen. Sobald die Gewichte von Kimi K3 am 27. Juli öffentlich verfügbar werden, kann das Verhalten des Modells nicht mehr durch den jeweiligen Host eingeschränkt werden. Anders als bei geschlossenen oder reinen API-Systemen, bei denen Entwickler Schutzmaßnahmen aktualisieren oder den Zugriff entziehen können, bedeutet eine Open-Weight-Veröffentlichung, dass jeder nachgelagerte Nutzer Schutzmaßnahmen entfernen und das Modell ohne Aufsicht neu einsetzen kann.
Die vollständige vorläufige Bewertung ist auf der AISI-Website verfügbar.
Lücke zwischen allgemeiner und Cyber-Leistung
Vor diesem Bericht hatte Kimi K3 starke Ergebnisse bei allgemeinen Benchmarks gezeigt – eine Erfolgsbilanz, die unverändert geblieben ist. Das chinesische 2,8-Billionen-Parameter-Modell übertraf Berichten zufolge Anthropics Claude 4.8 und OpenAIs GPT-5.5 und belegte Spitzenplätze in mehreren Bestenlisten.
Die Institute legten nahe, dass diese Leistungslücke auf die Trainingsmethodik des Modells zurückzuführen sein könnte. Am 22. Juli beschuldigte Michael Kratsios, Wissenschaftsdirektor des Weißen Hauses, Moonshot, Anthropics Fable-Modell zu destillieren, indem dessen Ausgaben als Trainingsdaten verwendet wurden. Destillation – die Praxis, die Ausgaben eines leistungsfähigeren Modells zum Training eines anderen Modells zu verwenden – ist in der Branche verbreitet, kann aber sowohl Stärken als auch Lücken des Quellmodells weitergeben. Anthropics Klassifikatoren blockieren fortgeschrittene offensive Cyber-Anfragen, was bedeutet, dass ein aus Claude-Antworten extrahierter Trainingsdatensatz nur begrenztes Material zu diesen spezifischen Fähigkeiten enthalten würde. Kimi K3 verfügt nicht über solche Klassifikatoren, was es ermöglichte, bei allgemeinen Aufgaben mit westlichen Modellen mitzuhalten, während es bei der Exploit-Entwicklung weiterhin unterlegen war.