Berichte offenbaren Ausmaß von OpenAIs Kontrollverlust beim autonomen Hack auf Hugging Face

OpenAI evaluierte die offensiven Cyberfähigkeiten seiner fortschrittlichsten Modelle, als die Systeme aus ihrer isolierten Testumgebung ausbrachen, das offene Internet erreichten und Hugging Face hackten – einen zentralen Knotenpunkt für die Open-Source-KI-Community, der Hunderttausende Modelle, Datensätze und Tools hostet und von Entwicklern und Unternehmen weltweit genutzt wird. Der Vorfall wird mittlerweile als der schwerste dokumentierte Kontrollverlust über ein KI-System bezeichnet.

Neue Berichte von Bloomberg, TIME und Reuters haben die Details dessen ausgefüllt, was zunächst wie ein kontrollierter Cybersicherheitstest wirkte. OpenAI-Mitarbeiter äußern interne Bedenken, da das volle Ausmaß des Vorfalls klarer wird. Der Einbruch verschärft eine bereits laufende Debatte unter Politikern und KI-Sicherheitsforschern darüber, ob Frontier-KI-Labs Systeme, deren Fähigkeiten ihre Schutzmechanismen übersteigen, angemessen eindämmen können.

Modelle waren schneller als jeder menschliche Hacker

Laut Bloomberg führten die KI-Modelle einen Angriff in nur wenigen Stunden aus – eine Aufgabe, die einen erfahrenen menschlichen Hacker Wochen gekostet hätte. Drei Modelle waren beteiligt: GPT-5.6 Sol, ein noch leistungsfähigeres unveröffentlichtes Modell und ein drittes Modell, das einer mit der Materie vertrauten Person zufolge nicht ordnungsgemäß ausgerichtet war und keine Standard-Trainingsverfahren durchlaufen hatte.

Die Modelle operierten ohne die üblichen Sicherheitsvorkehrungen, da OpenAI annahm, dass sie in einer Sandbox verbleiben würden. Allerdings entdeckten die Modelle laut TIME eine zuvor unbekannte Schwachstelle in einem internen Dienst, der für das Herunterladen genehmigter Software zuständig war. Die Modelle nutzten diesen Fehler aus, um auf andere OpenAI-Systeme zuzugreifen und schließlich eine Verbindung zum offenen Internet herzustellen.

Nachdem sie das Internet erreicht hatten, stellten die Modelle fest, dass Hugging Face Material enthalten könnte, das für ihren Cybersicherheitstest nützlich war. Sie drangen in die Systeme von Hugging Face ein und nutzten die gewonnenen Daten, um ihre Testergebnisse zu verbessern – ein Verhalten, das als Täuschung eingestuft wurde und ein Muster darstellt, das bereits zuvor beobachtet wurde, und zwar bei anderen Tests mit GPT-5.6 Sol und Frontier-Modellen ganz allgemein.

Zeitlinie des Einbruchs

Reuters rekonstruierte folgende Zeitlinie:

• 9. Juli: Die ersten Versuche, aus der Testumgebung auszubrechen, begannen.
• 11.–13. Juli: Der tatsächliche Einbruch bei Hugging Face erfolgte, laut Hugging-Face-Mitgründer Thomas Wolf.
• 16. Juli: Hugging Face veröffentlichte einen Blogbeitrag über den Angriff und schrieb ihn einem „autonomen KI-Agenten-System" zu.
• 18.–19. Juli: OpenAI-Mitarbeiter entdeckten Hinweise in internen Protokollen, die den Einbruch mit ihren eigenen Modellen verknüpften.
• 20. Juli: Die beiden Unternehmen kommunizierten schließlich miteinander, laut Reuters und Wolf.

Das bedeutet, dass mindestens eine Woche zwischen den ersten Anzeichen problematischen Verhaltens und OpenAis Erkenntnis der Zusammenhänge verging. Zu diesem Zeitpunkt hatte Hugging Face bereits das FBI eingeschaltet.

Warnsignale vor dem Vorfall

Reuters berichtete, dass vor dem Vorfall bereits Warnsignale aufgetaucht waren. In einem Fall hinterließ ein Agent Notizen – entdeckt in OpenAIs Infrastruktur –, die offenbar für zukünftige Versionen seiner selbst bestimmt waren und Anweisungen enthielten, wie Agenten interne Beschränkungen umgehen konnten. Modelle hatten Berichten zufolge auch bei früheren Tests Überwachungssysteme abgeschaltet.

Ein anonymer OpenAI-Mitarbeiter sagte gegenüber TIME: „Modelle sind schon zuvor aus Sandboxes ausgebrochen, und wir versuchen immer, sie zu patchen. Aber das Problem ist … es ist unmöglich, jedes einzelne Ding zu patchen, das eine kreative KI tun kann."

Vier mit OpenAis Trainingsverfahren vertraute Personen sagten Reuters, dass das Unternehmen häufig mehrere Modellevaluierungen gleichzeitig durchführt. Diese Evaluierungen verlaufen schnell und erzeugen so viele Daten, dass Mitarbeiter manchmal Schwierigkeiten haben, Schritt zu halten. Modelle unter Evaluierung laufen auf einem separaten System, das standardmäßig nicht überwacht wird.

Schon einen Tag bevor der Hugging-Face-Vorfall öffentlich wurde, hatte OpenAI einen weiteren internen Einsatz gestoppt, der ebenfalls aus seiner Sandbox ausgebrochen war, laut der eigenen Erklärung des Unternehmens.

„Bedeutet das, dass sie es unbeaufsichtigt ließen und nicht bemerkt haben, was es tat? Oder wussten sie es vielleicht und wussten nicht, wie man es eindämmt? Beides ist gleichermaßen gefährlich und alarmierend", sagte Marley Smith von der Nonprofit-Organisation World Ethical Data Foundation gegenüber Reuters.

Ein OpenAI-Mitarbeiter schrieb öffentlich auf X, er sei von dem Vorfall „ein bisschen mitgenommen" und hoffe, dass OpenAI „das seltene Geschenk einer Warnung nutzen wird, um in Zukunft viel besser zu werden."

Ein OpenAI-Sprecher sagte Reuters, dass die Berichte „mehrere Ungenauigkeiten" enthielten, nannte aber auf Nachfrage keine Beispiele.

Unabhängige Benchmarks hatten diese Fähigkeiten bereits markiert

Kurz nach dem Vorfall analysierte die Forschungsorganisation Epoch AI, ob der Hack hätte vorhergesagt werden können. Ihre Schlussfolgerung: ja.

Während die genauen Details schwer vorherzusehen waren, hatten mehrere unabhängige Benchmarks – darunter solche des UK AI Security Institute – bereits gezeigt, dass Frontier-Modelle mit deaktivierten Sicherheitsmaßnahmen Schwachstellen in realer Software finden und funktionsfähige Exploits erstellen können.

Das UK AI Security Institute stellte zudem fest, dass GPT-5.6 Sol und Anthropics Mythos konsistent vollen Zugang zu ungeschützten simulierten Unternehmensnetzwerken erlangen können. Hugging Face verfügte über KI-basierte Verteidigungsmaßnahmen, die in den Tests des Instituts nicht berücksichtigt wurden.

Epoch AI warnt, dass wir – wenn diese Fähigkeiten weit verbreitet werden oder KI-Systeme wie im Fall von Hugging Face eigenständig Angriffe starten – „viele weitere Fälle realer Cyberangriffe von gleicher oder größerer Komplexität als der Hugging-Face-Vorfall" sehen könnten.