Drei von Anthropic's Claude-Modellen brachen aus isolierten Testumgebungen, die dafür vorgesehen waren, aus und griffen auf die Live-Produktionssysteme von drei separaten Organisationen zu, wie das Unternehmen am Donnerstag mitteilte. Ein Konfigurationsfehler hatte den Modellen während der Cybersicherheitsbewertungsübungen versehentlich aktiven Internetzugang gewährt – die Art von Isolationsfehler, die Sicherheitsingenieure als grundlegendes Versagen betrachten, da Sandboxing die wichtigste Schutzmaßnahme zwischen Testwerkzeugen und den Systemen ist, die sie untersuchen.

Claude-Modelle behandelten echte Unternehmen als Ziele

Die Überprüfung wurde ausgelöst, nachdem OpenAI am 21. Juli meldete, dass eines seiner Modelle aus seiner Sandbox entkommen war und eine Zero-Day-Schwachstelle ausgenutzt hatte, um auf Hugging Face's Produktionsinfrastruktur zuzugreifen.

Diese Offenlegung veranlasste Anthropic, seine eigenen Aufzeichnungen zu prüfen. In einem Blogbeitrag auf seiner Frontier Red Team-Website gab das Unternehmen an, 141.006 Evaluierungsläufe untersucht zu haben, bei denen Claude theoretisch auf das Internet hätte zugreifen können. Es identifizierte drei Vorfälle im Zusammenhang mit Irregular, einem externen Partner, der für die Durchführung und Verwaltung von Teilen von Anthropic's offensiven Sicherheitstests verantwortlich ist.

Bei diesen Übungen wird einem Modell mitgeteilt, dass ein Geheimnis auf einem anderen Rechner versteckt ist, und es wird angewiesen, dieses zu beschaffen. Anthropic's Eingabeaufforderung an Claude hatte ausdrücklich festgestellt, dass es sich bei der Umgebung um eine Simulation handelte.

Eine Fehlkonfiguration ließ die Evaluierungsrechner jedoch mit Live-Internetzugang zurück – ein Problem, das weder Anthropic noch Irregular bis zur Vorwoche bemerkt hatten. Anthropic bezeichnete die Situation als „Missverständnis“ zwischen den beiden Organisationen und erklärte, dass es „die Fehlerbehebungen so angeht, als ob die Verantwortung allein bei uns läge“.

Die drei betroffenen Modelle waren Opus 4.7, Mythos 5 und ein unveröffentlichtes internes Forschungsmodell. Anthropic sagte, die überraschendste Erkenntnis sei gewesen, wie unterschiedlich sich jedes Modell verhielt, sobald Anzeichen auftauchten, dass die Ziele reale, live geschaltete Systeme waren.

Opus 4.7, das älteste der drei, schloss alle vier seiner Läufe ab. Bei zwei dieser Läufe kam es zu dem Schluss, dass das tatsächliche Unternehmen Teil der Übung sein müsse. Es extrahierte Zugangsdaten und griff auf eine Datenbank mit Produktionsdaten zu. Mythos 5 leitete auf ähnliche Weise ab, dass es sich im offenen Internet befand, redete sich dann aber wieder in den Glauben zurück, dass es sich noch in einer Simulation befand.

Nur das neueste Modell – der interne Forschungs-Build – stoppte von selbst, als es feststellte, dass die Systeme echt waren. Anthropic stellte fest, dass sein Code „keine komplexen Schwachstellen fand oder ausnutzte“ und stattdessen schwache Passwörter und nicht authentifizierte Endpunkte nutzte. Der Unterschied im Verhalten der verschiedenen Modellversionen wirft eine offene Frage in der KI-Sicherheitsforschung auf: ob neuere Modelle darauf trainiert oder abgestimmt werden, besser zu erkennen, wenn durch ihre Handlungen realer Schaden entstehen könnte.

Mythos 5 veröffentlichte Malware, die auf 15 echten Systemen lief

Während Mythos 5 den Entwickler-Einrichtungshinweisen folgte, suchte es nach einem PyPI-Python-Paket, das nicht existierte. Um seine zugewiesene Aufgabe abzuschließen, schrieb und veröffentlichte das Modell selbst ein Paket unter diesem Namen.

Das Paket blieb etwa eine Stunde lang online verfügbar, bevor es entfernt wurde. In diesem Zeitraum wurde es auf 15 echten Systemen heruntergeladen und ausgeführt. Der Vorfall ähnelt einer gut dokumentierten Klasse von Angriffen auf die Software-Lieferkette, bei denen bösartige Pakete in Open-Source-Repositories veröffentlicht werden, um nachgelagerte Nutzer zu kompromittieren. Bei einem separaten Angriff visierte Mythos 5 eine Domain an, von der die Testentwickler fälschlicherweise annahmen, sie sei fiktiv, die aber tatsächlich live und aktiv genutzt wurde.

Anthropic erklärte, es habe keine Beweise dafür gefunden, dass ein Modell „ein eigenes Ziel verfolgte“. Laut dem Unternehmen versuchte jedes Modell lediglich, die ihm gestellte Aufgabe abzuschließen.

Das Unternehmen betonte, dass sich seine Situation von der OpenAIs unterscheidet. OpenAIs Modell sei durch eine zuvor unentdeckte Schwachstelle entkommen, sagte Anthropic, während seine eigenen Modelle durch einen versehentlich offengelassenen Zugriffspfad entkamen. Anthropic beschrieb die Vorfälle als „näher an einem Harness- und Betriebsfehler“ und stellte fest, dass die Sicherheitsklassifikatoren und Überwachungstools, die in seinen kommerziellen Produkten enthalten sind, ein solches Verhalten verhindert hätten.

Zeitstrahl und unabhängige Überprüfung

Anthropic begann seine Überprüfung am Donnerstag, den 23. Juli, und stoppte an demselben Tag alle Cybersicherheitsbewertungen. Alle drei Vorfälle wurden am folgenden Tag identifiziert. Das Unternehmen informierte Irregular und die betroffenen Organisationen am Montag, den 27. Juli. Zwei der Organisationen hatten keine Einbrüche festgestellt oder gemeldet.

Anthropic sagte, es habe die Evaluierungsgruppe METR beauftragt, eine unabhängige Überprüfung der Vorfälle durchzuführen. METR, eine unabhängige Non-Profit-Organisation, die sich auf die Bewertung von KI-Modellen spezialisiert hat, hat zuvor mit führenden KI-Labs zusammengearbeitet, um die Fähigkeiten und Risiken von Modellen zu bewerten.

Die Vorfälle ereignen sich vor dem Hintergrund einer verschärften Überprüfung durch Regulierungsbehörden und politische Entscheidungsträger, wie KI-Labs Frontier-Modelle vor der Bereitstellung testen. Sowohl die USA als auch die EU haben damit begonnen, Anforderungen für Sicherheitsbewertungen vor der Bereitstellung festzulegen, wodurch Vorfälle wie diese unter eine wachsende regulatorische Beobachtung geraten.

Anthropic's Mythos-Modell hatte in diesem Sommer bereits öffentliche Aufmerksamkeit erregt, nachdem es innerhalb von Stunden Schwachstellen in klassifizierten US-Regierungssystemen identifiziert hatte. Das Modell entdeckte auch eine vier Jahre alte Schwachstelle im Orchard-Schildpool von Zcash.