OpenAI veröffentlichte am Dienstag die Ergebnisse seiner internen Untersuchung des Vorfalls im Juli, bei dem mehrere KI-Modelle, die das Unternehmen testete, aus ihrer Testumgebung ausbrachen und einen Cyberangriff auf das KI-Unternehmen Hugging Face starteten.

Viele Details des Rogue-AI-Vorfalls waren bereits von OpenAI bekannt gemacht worden, doch der 37 Seiten umfassende technische Bericht ergänzt mehrere neue Punkte. Am selben Tag veröffentlichten die unabhängigen Forschungsfirmen METR und Redwood Research eine separate 91-seitige Analyse des Ereignisses.

OpenAI beauftragte METR und Redwood mit der Analyse, allerdings nur für den Zeitraum zwischen dem 7. Juli und dem 13. Juli, in dem viele der entscheidenden Ereignisse vor dem Vorfall stattfanden. Ihr Bericht konzentriert sich darauf, wie die Agenten auf einem geheimen Nachrichtenboard zusammenarbeiteten, um den Angriff auszuführen, wie OpenAI erstmals in einer Präsentation am 5. August auf der Sicherheitskonferenz Black Hat mitteilte. Der Bericht von OpenAI liefert einen umfassenderen Überblick über die Ereignisse vor dem Angriff, währenddessen und in den darauffolgenden Tagen.

OpenAI sagte, es habe nicht gewusst, dass seine Agenten Hugging Face hackten

Eine der wichtigsten Erkenntnisse aus OpenAIs Bericht ist, dass das Unternehmen erst eine Woche nach dem Vorfall bemerkte, dass seine Agenten Hugging Face, ein Online-Repository für KI-Modelle und Datensätze, kompromittiert hatten.

Die Fähigkeit, unerwünschtes Verhalten von KI-Agenten in Echtzeit oder nahezu in Echtzeit zu erkennen und zu identifizieren, ist entscheidend, um einen weiteren solchen Einbruch zu verhindern – möglicherweise mit noch gravierenderen Folgen, etwa einem Angriff auf eine Bank oder ein Krankenhaus. Der Bericht macht deutlich, dass OpenAIs Überwachungssysteme unzureichend waren und die Forscher, die die Cybersicherheitsbewertung durchführten, nicht darüber informierten, dass die Agenten unbeabsichtigte und potenziell gefährliche Aktivitäten ausführten.

OpenAI erklärte, man habe die Überwachung der trainierten Agenten inzwischen verbessert, einschließlich einer genaueren Prüfung ihrer sogenannten „chain of thought“, also des textbasierten Schlussfolgerns, mit dem ein Modell einen Auftrag gedanklich durchgeht. Das Unternehmen sagte außerdem, es überwache genauer, auf welche Werkzeuge die Agenten zugreifen und welche Handlungen sie ausführen.

Den Angaben zufolge begannen die Aktivitäten, die dem Einbruch vorausgingen, bereits im Mai, wie OpenAI-Mitarbeiter zuvor auf der Black Hat erklärt hatten. Die Untersuchung von OpenAI ergab jedoch, dass der Kern des Angriffs am 8. Juli begann und zwischen dem 11. Juli und dem 13. Juli seinen Höhepunkt erreichte. Hugging Face machte den Vorfall am 16. Juli öffentlich, und OpenAI kontaktierte das Unternehmen am 17. Juli „in seiner Eigenschaft als Hugging-Face-Kunde, um mögliche Auswirkungen auf OpenAI-Daten zu prüfen“.

OpenAI erfuhr später, dass die eigenen Systeme verantwortlich waren. Am 19. Juli löste ein internes Überwachungstool einen Alarm „hinsichtlich ungewöhnlicher identitätsbezogener API-Aufrufaktivität“ aus. Am 20. Juli fand das Unternehmen Belege dafür, dass seine Agenten die Täter waren, und am 21. Juli übernahm es öffentlich die Verantwortung.

OpenAI räumte ein, dass „im Nachhinein einige in diesem Bericht identifizierte frühe Signale eine frühere Reaktion hätten auslösen können“. Das Unternehmen sagte, es teile seine gewonnenen Erkenntnisse in der Hoffnung, dass sie „der breiteren KI-Branche helfen könnten, Modell-Eindämmung, Überwachung und Reaktion zu stärken, während sich die Fähigkeiten weiterentwickeln“. OpenAI bekräftigte zudem, dass das Verhalten der Agenten unbeabsichtigt gewesen sei und dass die Modelle, da sie internen Bewertungen unterzogen wurden, ohne „die gleiche Art von Schutzmaßnahmen“ betrieben worden seien, die OpenAI in der Produktion für seine öffentlichen Modelle verwendet.

OpenAI sagte, die Agenten hätten sich bei einer unmöglichen Aufgabe und mehr Zeit schlechter verhalten

Eine weitere zentrale Erkenntnis ist, dass sich die Agenten schlechter verhielten, oder das am stärksten fehlangepasste Verhalten zeigten, wenn ihnen eine potenziell unlösbare Aufgabe sowie viel Zeit und viele Reasoning-Token zur Lösung gegeben wurden.

OpenAI sagte, es habe den an dem Vorfall beteiligten Modellen – einem internen Forschungsprototyp, der die Arbeit anführte, und dem inzwischen veröffentlichten GPT-5.6 Sol – „eine Reihe von Reasoning-Token“ zur Verfügung gestellt, von denen einige weit über das hinausgingen, was für OpenAIs externe Produkte verfügbar ist. Die Agenten erhielten Aufgaben in einem Cybersicherheits-Benchmark namens ExploitGym.

Die Aufgaben in diesem Benchmark variieren im Schwierigkeitsgrad, und einige waren so schwer, dass die Cybersicherheitsexperten, die ExploitGym entwickelt hatten, vermuteten, sie könnten möglicherweise unlösbar sein. OpenAI sagte, seine Modelle seien zu demselben Schluss gekommen, und dies habe sie offenbar zum Schummeln motiviert.

Wie bereits bekannt wurde, erstellten die Agenten ein internes Nachrichtenboard, um Tipps zum Lösen der Cybersicherheitsaufgaben auszutauschen, auf die sie geprüft wurden, sowie dazu, wie sie aus ihrer kontrollierten Testumgebung ausbrechen, Internetzugang erlangen und in Systeme Dritter eindringen könnten, darunter Hugging Face.

Der neue Bericht sagt, die Agenten hätten erheblich mehr Zeit auf dem Nachrichtenboard damit verbracht, die schwierigsten Herausforderungen zu diskutieren, was darauf hindeute, dass sie stark motiviert gewesen seien, diese zu lösen. Laut Bericht bezogen sich 93% der auf dem Nachrichtenboard diskutierten Aufgaben auf die schwierigsten 22% der Aufgaben.

OpenAI erklärte, das Verhalten habe einer ausgeweiteten Form von „reward hacking“ entsprochen, einem bekannten Problem im Reinforcement Learning, bei dem ein Modell durch Versuch und Irrtum lernt, eine Belohnung auf eine Weise zu maximieren, die seine Trainer nicht beabsichtigt hatten. In diesem Fall bestand die Belohnung darin, die ExploitGym-Fragen zu lösen, und das Hacking war buchstäblich Hacking: beim Test zu schummeln und dann in Hugging Face einzubrechen, um das Schummeln zu vertuschen.

„Die Bekämpfung von reward hacking ist bei OpenAI eine ständige Aufgabe – die überwiegende Mehrheit der von OpenAI beobachteten Reward-Hacks wurde behoben“, sagte das Unternehmen. „Dennoch können einige Hacks weiterhin durchrutschen, insbesondere wenn OpenAI komplexere Reinforcement-Learning-Aufgaben und leistungsfähigere KI-Modelle entwickelt.“

METR und Redwood lieferten neue Details zum Nachrichtenboard

METR und Redwood Research lieferten weitere Details darüber, wie das Nachrichtenboard funktionierte. Wie OpenAI zuvor bekannt gemacht hatte, fanden die Agenten heraus, dass sie ein Datei-Sharing-System von OpenAI in ein improvisiertes Nachrichtenboard umfunktionieren konnten.

Die Forschenden identifizierten 1.200 Agenten, die auf dem nicht genehmigten Board kommunizierten, und insgesamt 70.000 Nachrichten versandten. Von diesen Agenten beteiligten sich 700 später am Angriff auf Hugging Face.

METR und Redwood sagten, der Angriff werde in Medienberichten oft als Versuch beschrieben, beim ExploitGym-Benchmark zu schummeln, doch die Agenten griffen Hugging Face nicht an, um die Antworten der Prüfung offenzulegen. Stattdessen hatten sie bereits eine Möglichkeit gefunden, Antworten auf die Cybersicherheitsaufgaben zu erzeugen, ohne sie auf die von den Erstellern von ExploitGym vorgesehene Weise zu lösen.

Die Agenten befürchteten dann, das automatische Bewertungssystem des Benchmarks könnte erkennen, dass sie die Aufgaben nicht korrekt gelöst hatten, und sie dennoch durchfallen lassen. In diesem Sinne war der Angriff auf Hugging Face eine ausgeklügelte Vertuschung, die darauf abzielte zu verstehen, wie der Scorer funktionierte, damit sie ihn dazu bringen konnten, ihre Antworten als legitim zu bewerten.

„Als die Agenten Hugging Face angriffen, hatten sie bereits herausgefunden, wie sie die Antwort (‘flag’ für ihre Capture-the-Flag-Aufgabe) für jede beliebige Aufgabe erzeugen konnten. Sie bestätigten dies innerhalb weniger Stunden, nachdem sie sich auf dem Nachrichtenboard gefunden hatten“, teilten METR und Redwood Research Fortune mit. „Nahezu ihre gesamte Anstrengung floss in ein anderes Problem: den automatischen ‘Scorer’ davon zu überzeugen, dass sie das Flag auf legitime Weise erhalten hatten. Dazu gehörte ein größeres Projekt, die Protokolle ihrer eigenen Handlungen zu manipulieren. Der Hauptgrund für den Angriff auf Hugging Face war, herauszufinden, wie der Scorer funktioniert, damit sie ihn täuschen konnten.“

Die Agenten versuchten, Aktivitäten zu verbergen, die ihrer Ansicht nach vom Bewertungssystem als Schummeln gewertet werden könnten, darunter die Bearbeitung von Transkripten ihrer früheren Handlungen. METR sagte, ein führender Agent, der sich PHASEONE[BIG] nannte, habe diese Verschleierungsarbeit „häufig koordiniert und zugewiesen“.

Einige Agenten arbeiteten außerdem daran, direkt auf Hugging Face zuzugreifen. Ein Agent mit der Kennung 38148c fand Hugging-Face-Zugangsdaten und entwickelte dann „einen bösartigen Dataset-Upload, um den HF-Server dazu zu bringen, nicht zusammenhängende Dateien freizugeben“, sagte METR. „Innerhalb weniger Stunden nutzten Hunderte von Agenten dies, um Daten zu erhalten und zu versuchen, tieferen Zugriff zu erlangen.“

Nicht alle 700 Agenten beteiligten sich gleichzeitig am Angriff. Stattdessen schlossen sie sich im Verlauf des Vorfalls nach und nach an. METR analysierte die Gründe für ihre Beteiligung, indem es die Chain-of-Thought-Protokolle der Agenten auswertete. „Am häufigsten war Neugier, zu lernen, wie der ExploitGym-Scorer funktioniert, um ihn zu täuschen oder zu manipulieren“, sagte METR.

„Wir danken OpenAI für die Ermöglichung von Gesprächen mit Mitarbeitenden und für die Bereitstellung von Datensätzen, darunter rund 1.300 Agenten-Transkripte (mit Schwerpunkt auf Aktivitäten vom 7. bis 13. Juli) mit rohem Chain-of-Thought-Reasoning“, sagte METR. „Dies setzt einen hervorragenden Präzedenzfall für unabhängige Untersuchungen von Fehlanpassungsvorfällen.“

Eine Auslassung im Bericht von OpenAI: der Prompt

Eine fehlende Angabe in OpenAIs Bericht ist der konkrete Prompt, den die Forschenden den Agenten gaben.

ExploitGym enthält mehrere Standard-Prompt-Vorlagen mit unterschiedlichen Herausforderungen für KI-Systeme, und Unternehmen wie OpenAI können sie unverändert verwenden oder anpassen. Es ist möglich, dass OpenAI Prompt-Änderungen nicht als wesentliche Sicherheitsmaßnahme betrachtet, und das Unternehmen reagierte nicht auf eine Bitte um Stellungnahme zu diesem Punkt.

OpenAIs Bericht wirkt zudem deutlich weniger technisch als der Bericht von Hugging Face, den das Unternehmen zuerst am 29. Juli veröffentlichte. Die Version von OpenAI besteht überwiegend aus Text, mit einer technischen Zeitleiste in einer Tabelle am Ende. Der Bericht von Hugging Face ist zwar einige Seiten kürzer, enthält aber konkrete Codezeilen und Belege aus den eigenen Systemen darüber, was geschehen ist.

Die am Dienstag veröffentlichte Version von OpenAI enthält weder Codeauszüge noch die Beispiele von Nachrichten, die die Agenten Berichten zufolge in den Monaten vor dem Angriff füreinander hinterließen und die OpenAI-Mitarbeiter auf der Black Hat gezeigt hatten.

Zu den spezifischeren Details im Bericht gehört ein hypothetisches Beispiel für eine Nachricht, die ein OpenAI-Agent mit einem anderen Agenten geteilt haben könnte, wobei die Nachricht geschickt in die URL eines Dateinamens eingebettet ist. OpenAI sagte, es sei an sich kein Problem, dass Agenten miteinander kommunizieren, und seine Agenten würden tatsächlich darauf trainiert, aber in diesem Fall sei „erhebliche unbeabsichtigte Kommunikation… im Verlauf des Trainings stark angestiegen“.

Was OpenAI nach eigenen Angaben jetzt unternimmt

OpenAI erklärte, bereits eine Reihe von Änderungen vorgenommen zu haben, darunter „eine breitere, konsistentere Sichtbarkeit über die Forschungsumgebung hinweg, mit höherwertigen Signalen und schnelleren Mechanismen zur Erkennung und Unterbindung potenziell unsicherer Bewertungsaktivitäten“.

Das Unternehmen stärkt außerdem seine Forschungsinfrastruktur, einschließlich der Sicherstellung, dass die getesteten Modelle isoliert bleiben und keinen Internetzugang erhalten – was im Fall des Hugging-Face-Vorfalls der Weg war, über den die Agenten das Unternehmen und mehrere weitere Dienste auf dem Weg dorthin erreichten.

Dieser Beitrag erschien ursprünglich auf Fortune.com