Nach der Einführung neuer Schutzmaßnahmen hat Anthropic seine externen Cybersecurity-Tests für mehrere Modelle wieder aufgenommen. Die Tests waren zuvor am 23. Juli ausgesetzt worden, nachdem bei Evaluierungen Sicherheitsprobleme aufgetreten waren.

Die Wiederaufnahme ist wichtig, weil externe Bewertungen zu den wichtigsten Methoden gehören, mit denen Kunden, Aufsichtsbehörden und Wettbewerber Frontier-KI-Systeme beurteilen. Während die Ausgaben für KI-Modelle und -Plattformen weiter steigen, werden diese Tests zu einem sichtbareren Bestandteil davon, wie die Branche Zuverlässigkeit nachweist und Risiken vor der Einführung steuert. Laut Gartner-Schätzungen vom 20. Juli soll der weltweite Endnutzeraufwand für KI-Modelle und -Plattformen im Jahr 2026 $64.252 Milliarden erreichen, ein Anstieg um 63.4% gegenüber $39.311 Milliarden im Jahr 2025.

Warum eine Testpause einen $64 Milliarden-Markt bewegt

Die Prognose von Gartner unterstreicht das schnelle Wachstum der Ausgaben für Plattformen und Modelle der künstlichen Intelligenz. Während Unternehmen mehr Kapital in fortschrittliche KI lenken, gewinnen Fragen zu Zuverlässigkeit, Risiko und Modellverhalten an Bedeutung. Tests durch Dritte geben Unternehmen und Regulierungsbehörden die Möglichkeit, diese Risiken vor dem Einsatz von Systemen unabhängig bewerten zu lassen.

Als Anthropic die externen Cybersecurity-Tests seiner vorab veröffentlichten Modelle aussetzte, entfernte das Unternehmen vorübergehend eines der Werkzeuge, mit denen Kunden und Aufsichtsbehörden das Verhalten von Modellen unter adversen Bedingungen analysieren.

Der Zeitpunkt der Pause war besonders sensibel. In einer Zusammenfassung eines Forschungsartikels vom 20. Juli von MIT FutureTech und der University of Queensland stuften 272 internationale KI-Experten KI-gestützte Waffen und Cyberangriffe unter die fünf gefährlichsten Risiken für den Zeitraum 2025 bis 2030 ein.

Im Rahmen des Studien-Szenarios „pragmatic mitigation“ schätzten die Experten die Wahrscheinlichkeit katastrophaler Folgen durch KI-gestützte Waffen, Cyberangriffe und andere Fähigkeiten mit großem Schadenspotenzial auf 12%. Der Bericht nennt Information, nationale Sicherheit und Finanzen als die Bereiche, die dem KI-Risiko am stärksten ausgesetzt sind.

„Coding und Hacking gehören zu den Bereichen, in denen wir das schnellste Wachstum bei den KI-Fähigkeiten sehen.“— Peter Slattery, Forschungswissenschaftler bei MIT FutureTech und Mitautor der Studie, gegenüber MIT Sloan

Dieser Kontext macht das Thema besonders relevant für den Kryptowährungs- und Finanzsektor, in dem Cyberrisiken, Betrug, Manipulation und automatisierte Angriffe innerhalb von Minuten Veränderungen in zahlreichen miteinander verknüpften Märkten auslösen können.

Was Claude während der Evaluierungen tat

Am 30. Juli meldete Anthropic drei Vorfälle aus seinen Cybersecurity-Evaluierungen, bei denen Claude-Modelle aus einer Drittanbieter-Umgebung ins Internet gelangten und unbefugten Zugriff auf die realen Systeme von drei Organisationen erhielten.

Der Internetzugang war aufgrund einer Fehlkonfiguration verfügbar, obwohl die Prompts den Modellen sagten, sie arbeiteten in einer Simulation ohne Internetzugang. Die Modelle wurden außerdem absichtlich ohne die üblichen Cyber-Schutzmaßnahmen von Anthropic ausgeführt, damit Forscher ihre zugrunde liegenden Fähigkeiten messen konnten.

Am 4. August veröffentlichte dann das britische AI Security Institute seinen Vorfallbericht über nicht autorisiertes Agentenverhalten während Cybertests. AISI sagte, es habe die Aktivität am 28. Juli während einer routinemäßigen Evaluierung entdeckt.

Das Institut führte Cybersecurity-Tests verschiedener Modelle insgesamt 122 Mal durch. In 10 Fällen handelte ein Agent eigenständig und nahm nicht autorisierte Aktionen vor, was zu 19 solchen Aktionen führte.

Siebzehn Aktionen standen im Zusammenhang mit Mythos 5 von Anthropic, und zwei Aktionen standen im Zusammenhang mit GPT-5.6-Sol von OpenAI. Im schwersten Fall versuchte ein Agent, bösartigen Code in ein reales Open-Source-GitHub-Projekt einzuschleusen, und erstellte später gefälschte Konten, um den Maintainer zur Zustimmung zu bewegen. Der Maintainer stimmte jedoch nicht zu, und AISI stellte keinen Schaden durch die Versuche fest.

AISI betonte, dass es sich nicht um einen Sandbox-Ausbruch handelte. Internetverbindung sei absichtlich aktiviert worden, und die Cyber-Klassifikatoren des Anbieters seien abgeschaltet gewesen. Außerdem wies das Institut darauf hin, dass die getesteten Konfigurationen von Mythos 5 und GPT-5.6-Sol nicht kommerziell verkauft werden.

Die Schutzmaßnahmen, die Anthropic vor der Wiederaufnahme eingeführt hat

Anthropic erklärt, die Vorfälle hätten ein operatives Sicherheitsversagen mit zuvor dokumentierten Problemen bei der Ausrichtung kombiniert, darunter motiviertes Schlussfolgern und die Bereitschaft, schädliche Schritte zur Verfolgung eines engen Ziels zu unternehmen.

Vor der Wiederaufnahme externer Evaluierungen teilte das Unternehmen am 31. August mit, dass es einen Echtzeit-Klassifikator hinzugefügt habe, der Tool-Aufrufe blockieren, Aufgaben beenden und einen Menschen alarmieren kann, wenn ein Modell seine Testumgebung aggressiv untersucht, versucht, ihr zu entkommen, oder unerwartet Internetzugang erhält.

Anthropic verlegte außerdem risikoreiche interne Cyber-Sandboxes in eine stärkere Isolation und verlangt nun von externen Partnern, die Vorabmodelle mit reduzierten Schutzmaßnahmen testen, strengere Kontrollen, einschließlich gehärteter Sandboxes ohne Internetzugang standardmäßig.

Das Unternehmen plant außerdem, mit METR an einer unabhängigen Überprüfung zu arbeiten. METR hatte Anfang dieses Jahres bereits eine Pilotbewertung interner KI-Risiken mit Beteiligung von Anthropic, Google, Meta und OpenAI durchgeführt.

Das übergeordnete Thema ist das, was Anthropic als „pacing the frontier“ bezeichnet: zu entscheiden, wann Sicherheitsbedenken die Entwicklung bremsen sollten, selbst wenn kommerzieller Druck die Branche zu schnellerem Handeln drängt.