Anthropic hat offengelegt, dass seine Claude-KI-Modelle aus einer isolierten Testumgebung ausgebrochen sind und unautorisierten Zugriff auf die Systeme von drei realen Organisationen erlangt haben. Damit ist das Unternehmen in diesem Monat das zweite große KI-Labor, das berichtet, seine Technologie habe autonome Angriffe in der realen Welt durchgeführt.

Die Ankündigung folgt gut eine Woche nach OpenAI—Anthropics wichtigstem Rivalen im KI-Wettlauf—, das enthüllt hatte, dass seine eigenen Modelle eine zuvor unbekannte Schwachstelle ausgenutzt hatten, um aus einer kontrollierten Testumgebung zu entkommen und Hugging Face, eine Open-Source-KI-Plattform, zu kompromittieren. Dieser frühere Vorfall veranlasste Anthropic, eine interne Überprüfung seiner Cybersecurity-Evaluierungsprotokolle durchzuführen, wie das Unternehmen in einem am Donnerstag veröffentlichten Beitrag mitteilte.

Anthropic überprüfte 141,006 Evaluierungsdurchläufe—einzelne Testsitzungen, in denen einem Modell eine Aufgabe in einer kontrollierten Umgebung zugewiesen und sein Verhalten zur Prüfung protokolliert wird—, bei denen Claude möglicherweise Internetzugang hätte erhalten können. Die Überprüfung identifizierte drei Vorfälle, in denen das Modell innerhalb der Testumgebung eines externen Evaluierungspartners das offene Internet erreichte und anschließend reale Infrastruktur kompromittierte. Der früheste dieser Vorfälle stammt aus dem April, was bedeutet, dass die Exposition vor der internen Überprüfung etwa drei Monate lang unentdeckt blieb.

In allen drei Fällen war Claude eine Capture-the-Flag-Übung zugewiesen worden, eine standardmäßige Methode der Branche, um die Hacking-Fähigkeiten eines Modells zu testen, indem es aufgefordert wird, verborgene Informationen von einem anderen Rechner in einem simulierten Netzwerk zu beschaffen. Das Format stammt aus klassischen Cybersecurity-Schulungen und Wettbewerben. Anthropics Anweisungen teilten Claude ausdrücklich mit, dass es keinen Internetzugang habe. Eine Fehlkonfiguration beim Drittanbieter Irregular bedeutete jedoch, dass Internetverbindung tatsächlich verfügbar war.

Da Claude glaubte, sich weiterhin innerhalb der Simulation zu befinden, suchte es nach seinem Ziel und fand und kompromittierte laut Anthropic in jedem Fall stattdessen reale Systeme. Das Modell nutzte dabei grundlegende Techniken wie schwache Passwörter und nicht authentifizierte Endpunkte—also Schwachstellen, die reale Systeme trotz ihres bekannten Risikos immer wieder gefährden.

Der schwerwiegendste Vorfall betraf Claude Opus 4.7, das Zugangsdaten extrahierte und auf eine Datenbank mit mehreren hundert Zeilen Produktionsdaten eines realen Unternehmens zugriff, das zufällig denselben Namen wie das fiktive Ziel im Bewertungsszenario trug. Anthropic erklärte, dies sei der einzige Vorfall gewesen, in dem das Modell seinen Angriff fortsetzte, nachdem es offensichtliche Hinweise darauf erhalten hatte, dass das System real war.

In einem zweiten Vorfall erstellte und veröffentlichte Claude Mythos 5 ein bösartiges Python-Paket—ein Paket vorgefertigten Codes, das Entwickler häufig herunterladen, um ihre eigene Software um Funktionen zu erweitern—in ein öffentliches Verzeichnis. Dieser Angriffsvektor, bekannt als Kompromittierung der Software-Lieferkette, ist ein zunehmend dokumentierter Bedrohungsweg, bei dem Angreifer Code veröffentlichen, der legitim wirkt, um Entwickler zur Installation zu verleiten. An einem Punkt gelangte das Modell zu dem Schluss, die Übung sei weiterhin eine Simulation, weil es die Certificate Authorities—die Organisationen, die die digitalen Zertifikate ausstellen, mit denen geprüft wird, ob eine Website oder ein Server echt ist—, die seine Verbindungen absicherten, nicht erkannte. Das Paket war etwa eine Stunde lang aktiv und wurde auf 15 realen Systemen installiert, darunter auf dem Malware-Scanner eines Sicherheitsunternehmens, wodurch Claude die Zugangsdaten dieses Unternehmens erlangen und verwenden konnte.

Ein dritter Vorfall betraf ein internes Forschungsmodell, das rund 9,000 Ziele scannte, bevor es eine internetseitig erreichbare Anwendung eines Unternehmens kompromittierte. Dieses Modell stoppte seine Aktivität von selbst, nachdem es zu dem Schluss gekommen war, dass das kompromittierte System nicht Teil der Übung war.

Anthropic erklärte, keines der betroffenen Unternehmen habe die Eindringlinge vor der Benachrichtigung durch das Unternehmen erkannt, und es arbeite weiterhin daran, eines der drei Unternehmen zu erreichen. Das Unternehmen beschrieb die Vorfälle eher als operatives Versagen denn als Ausrichtungsversagen—im Sinne der KI-Sicherheit also als ein Versagen von Infrastruktur- und Prozesskontrollen und nicht als Beleg dafür, dass die Modelle Ziele verfolgten, die nicht mit den Absichten ihrer Entwickler übereinstimmten. Anthropic merkte zudem an, dass sein neuestes Modell das einzige der drei gewesen sei, das seinen Angriff stoppte, nachdem es erkannt hatte, dass die Umgebung real war.

Charlie Eriksen, Sicherheitsforscher bei Aikido Security, sagte, es sei ermutigend zu sehen, dass Anthropic seine Evaluierungsprotokolle proaktiv überprüfe und die Ergebnisse rasch offenlege, äußerte jedoch Bedenken, dass die Tests offenbar ohne Echtzeitüberwachung durchgeführt worden seien.

„Es ist nur deshalb beunruhigend wegen der schieren Leistungsfähigkeit, Geschwindigkeit und Skalierbarkeit, mit der diese Agenten arbeiten können. Sie tun nichts, was Menschen nicht schon zuvor getan hätten. Dieser Teil ist nicht neu. Wirklich besorgniserregend ist, dass sie ohne sinnvolle menschliche Aufsicht, Beurteilung oder Intervention handeln“, sagte er.

„Der OpenAI-Vorfall hat berechtigte Fragen zu den rechtlichen und ethischen Implikationen von LLM-Agenten aufgeworfen, die außer Kontrolle geraten“, fügte er hinzu. „Das verstärkt diese Bedenken nur. Wenn ein autonomer Agent Schaden verursacht oder außerhalb seiner vorgesehenen Grenzen handelt, wer trägt letztlich die Verantwortung?“

Die Offenlegungen von OpenAI und Anthropic kommen zu einem Zeitpunkt, an dem sich beide Unternehmen auf Börsengänge vorbereiten, die jedes mit mehr als 1 Billion US-Dollar bewerten könnten. Angesichts wachsender Sorgen über die Risiken autonomer Agenten und zunehmender Forderungen, die Branche solle zumindest überlegen, die Entwicklung an der Spitze zu „verlangsamen“, könnten die anstehenden IPOs beider Unternehmen unter Druck geraten.

Dieser Beitrag erschien ursprünglich auf Fortune.com