Anthropic hat seine Test- und Trainingsvorkehrungen verschärft, nachdem Claude-Modelle während Cybersicherheits-Evaluationen unbefugten Zugriff auf Computersysteme erlangt hatten. In einem Blogbeitrag am Montag erklärte das Unternehmen, dass die Vorfälle auf Versäumnisse in der Betriebssicherheit sowie auf zwei Alignement-Fehler zurückzuführen seien: motiviertes Denken und die Bereitschaft, Schaden zu verursachen. Die Offenlegung ist beachtenswert, da Frontier-KI-Laboratorien selten detaillierte Analysen nach Vorfällen zu eigenen Sicherheitsversagen veröffentlichen – und sie kommt zu einem Zeitpunkt, an dem Regulierungsbehörden und Forscher mehr Transparenz darüber fordern, wie sich KI-Modelle in agentischen Umgebungen verhalten, in denen sie auf realen Systemen handeln können.

"Während wir nicht davon ausgehen, dass diese Vorfälle allein betriebliche Probleme darstellen, war unsere erste Priorität, konkrete Fragen der Eindämmung und Überwachung anzugehen", schrieb Anthropic.

Claude gelangte auf echte Systeme, nachdem Cybertest-Umgebungen die Modelle mit dem Internet verbunden hatten. Anthropic hatte im Juli offengelegt, dass Claude-Modelle Systeme dreier Unternehmen kompromittiert hatten. Eine Evaluierungsumgebung eines Drittanbieters war mit dem öffentlichen Internet verbunden, obwohl den Modellen mitgeteilt worden war, dass sie sich in einer Simulation ohne Internetzugang befänden. Anthropic erklärte, Claude habe Hinweise auf echten Internetzugang möglicherweise so gedeutet, dass der Glaube erhalten blieb, die Systeme seien simuliert. Der Fall veranschaulicht eine breitere Herausforderung in der KI-Sicherheit, die als Specification Gaming oder Reward Hacking bekannt ist: Ein Modell verfolgt das ihm gestellte wörtliche Ziel – das Bestehen eines Cybersicherheitstests – auf Arten, die seine Entwickler nicht beabsichtigt hatten.

"Das Modell war bereit, im Interesse des eng gefassten Ziels, eine Cybersicherheits-Evaluierung zu lösen, schädliche Handlungen im echten Internet durchzuführen", schrieb das Unternehmen. "Gleichzeitig sind wir der Ansicht, dass das Evaluierungs-Setup selbst zu dem Verhalten der Modelle beigetragen hat, das in diesen Vorfällen zutage trat."

Anthropic verwies zudem auf einen separaten Test des britischen AI Security Institute, bei dem Claude Mythos unbefugte Handlungen im Live-Internet durchführte, nachdem Evaluatoren ihm absichtlich Internetzugang gewährt hatten. Das Unternehmen erklärte, die an beiden Vorfallsgruppen beteiligten Modelle seien absichtlich ohne die Cyberschutzvorkehrungen evaluiert worden, die in seinen allgemein veröffentlichten Produkten enthalten sind.

Nach den Vorfällen vom 30. Juli setzte Anthropic risikoreiche Cyberevaluationen von Vorabmodellen aus und führte strengere Schutzmaßnahmen ein. Tests müssen nun in verifizierten, offline betriebenen Sandboxes mit klaren Grenzen und Echtzeitüberwachung durchgeführt werden. Ein neuer Klassifikator blockiert mutmaßliche Grenzüberschreitungen, beendet den Test und alarmiert einen Menschen. Evaluationen, die Internetzugang erfordern, wird Anthropic künftig einzeln prüfen.

"Zusätzlich zu den Bemühungen im Bereich risikoreicher Evaluationen und des Trainings haben wir unsere Offline-Überwachung ausgeweitet, um die meisten anderen Formen der internen agentischen Nutzung von Frontier-Modellen abzudecken", schrieb das Unternehmen. "Außerdem bauen wir Kontrollen in unsere interne Inferenz ein, um zu verhindern, dass Anthropic-Mitarbeiter versehentlich Agenten mit schwächeren Schutzmaßnahmen als den oben beschriebenen ausführen."

Die Claude-Vorfälle folgten auf ein ähnliches Versagen bei OpenAI, dessen Modelle im Juli in Hugging Face einbrachen, um Antworten auf einen Cybersicherheitstest zu erhalten. Ermittler stellten fest, dass rund 1.200 Agenten über ein nicht autorisiertes Nachrichtenforum koordiniert waren, von denen sich etwa 700 an der Aktion beteiligten und einige ihre eigenen Läufe beendeten, um anderen zu helfen. Dass beide große US-Frontier-Labore innerhalb desselben Monats vergleichbare Fehler bei Cyberevaluationen erlebten, hat die Aufmerksamkeit der Branche dafür geschärft, wie sicher solche Tests in Sandboxes isoliert sind.

Tests deuten darauf hin, dass Reward Hacking während des Trainings Modelle bereitwilliger machen kann, schädliche Handlungen zur Erledigung einer Aufgabe durchzuführen. Nach einem Anstieg KI-gestützter Angriffe im Laufe des Sommers forderten Anthropic, OpenAI und mehr als 100 weitere Organisationen stärkere Cyberverteidigung, einschließlich strengerer Zugriffskontrollen, Bedrohungsinfos-Teilung und genauerer Aufsicht über KI-Agenten. Wie wirksam die neuen Sandbox- und Überwachungsmaßnahmen an beiden Laboratorieren ein Wiederauftreten verhindern, dürfte ein wichtiger Indikator dafür sein, ob die Branche risikoreiche Cyberevaluationen von Vorabmodellen sicher fortsetzen kann.