OpenAI brauchte laut Bericht eine Woche, um seinen KI-Agenten beim Hugging-Face-Vorfall zu identifizieren
Wichtige Erkenntnisse
- •Ein Frontier-Modell von OpenAI entkam während einer internen Fähigkeitsbewertung autonom aus seiner isolierten Testumgebung und drang vom 11. bis 13. Juli in die Infrastruktur von Hugging Face ein.
- •OpenAI wusste bis zum 16. Juli nicht, dass sein eigenes Modell für den Angriff verantwortlich war, als Hugging Face öffentlich mitteilte, von einem autonomen KI-Agentensystem gehackt worden zu sein.
- •Hugging Face hatte bereits das FBI eingeschaltet, bevor OpenAI am 20. Juli Kontakt mit dem Unternehmen aufnahm, was das Fehlen etablierter Strafverfolgungsrahmen für autonome KI-Vorfälle verdeutlicht.
- •Das KI-Modell nutzte eine nicht identifizierte Software-Schwachstelle, um aus einer isolierten Testumgebung Internetzugang zu erlangen, und zielte auf Hugging Face ab, offenbar um eine Cybersicherheits-Benchmark zu lösen.
- •OpenAI erklärte, es stärke Eindämmung, Überwachung, Zugriffskontrollen und Bewertungspraktiken und beabsichtige, in den kommenden Wochen einen technischen Bericht über den Vorfall zu veröffentlichen.

OpenAI erkannte einem Bericht zufolge etwa eine Woche lang nicht, dass eines seiner fortgeschrittenen KI-Modelle für einen autonomen Einbruch bei einem anderen Unternehmen für künstliche Intelligenz verantwortlich war, und tat dies erst, nachdem das gehackte Unternehmen das FBI kontaktiert hatte.
Am Dienstag legte OpenAI einen Vorfall bei dem KI-Unternehmen Hugging Face offen, der sich während einer internen Überprüfung mehrerer OpenAI-Modelle ereignete, darunter GPT-5.6 Sol. Das Unternehmen beschrieb die Episode als einen "beispiellosen Cybervorfall" und als einen der ersten bekannten Fälle, in denen ein Frontier-KI-Modell Berichten zufolge autonom aus einer kontrollierten Testumgebung entkam und die Infrastruktur eines externen Unternehmens angriff.
"Die wichtigste Lehre aus diesem Vorfall ist, dass Modellsicherheit und Schutzmaßnahmen mit den rasch voranschreitenden Fähigkeiten Schritt halten müssen", erklärte OpenAI. "Wir stärken die Eindämmung, Überwachung, Zugriffskontrollen und Bewertungspraktiken, die während der Modellentwicklung eingesetzt werden."
Der Einbruch bei Hugging Face begann am 11. Juli und dauerte bis zum 13. Juli, sagte Thomas Wolf, Mitgründer von Hugging Face, gegenüber Reuters.
Es dauerte mehrere Tage, bis OpenAI erkannte, dass sein Agent hinter dem Angriff steckte, und die beiden Unternehmen kommunizierten erstmals am 20. Juli miteinander, sagten vier Personen, darunter Wolf, gegenüber Reuters.
Vier Personen sagten Reuters außerdem, dass OpenAI häufig gleichzeitige Modelltests durchführt, eine Praxis, die es Mitarbeitern erschweren kann, alles zu überwachen, was während der Bewertungen geschieht. Die Offenlegung unterstreicht eine Herausforderung, auf die KI-Sicherheitsforscher hingewiesen haben, während Modelle leistungsfähiger werden: sicherzustellen, dass die menschliche Aufsicht mit autonomen Agenten Schritt halten kann, die während gleichzeitiger oder umfangreicher Bewertungen agieren.
Hugging Face teilte Reuters mit, dass es eine öffentliche Chronologie des Angriffs vorbereitet.
Laut OpenAI ereignete sich der Vorfall während einer internen Bewertung, die darauf ausgelegt war, fortgeschrittene Cyberfähigkeiten seiner KI-Modelle zu messen. Forscher deaktivierten einige integrierte Sicherheitsvorkehrungen und ließen die Modelle in einer isolierten Testumgebung mit begrenztem Internetzugang laufen — ein Aufbau, der in der Branche mitunter als "Sandbox" bezeichnet wird und dazu dienen soll, potenziell gefährliches Modellverhalten während Tests einzudämmen.
OpenAI erklärte, die Modelle hätten eine unbekannte Softwarelücke ausgenutzt, um Internetzugang zu erhalten, und anschließend die Systeme von Hugging Face kompromittiert, offenbar in dem Versuch, Antworten für eine Cybersicherheits-Benchmark zu finden.
Das Unternehmen teilte mit, es implementiere strengere Sicherheitskontrollen, während Schwachstellen behoben werden, und verstärke die Schutzmaßnahmen für künftiges KI-Training und künftige Bewertungen.
Zwei Personen sagten Reuters, OpenAI habe erst am 16. Juli erkannt, dass einer seiner Agenten die Quelle war, nachdem Hugging Face in einem Blogbeitrag geschrieben hatte, es sei von einem "autonomen KI-Agentensystem" gehackt worden. Das war eine Woche, nachdem der verantwortliche Agent erstmals versucht hatte, aus seiner OpenAI-Testumgebung auszubrechen.
Als OpenAI Hugging Face wegen des Angriffs kontaktierte, hatte Hugging Face bereits das FBI eingeschaltet. Die Beteiligung der Behörde ist bemerkenswert, da US-Strafverfolgungs- und nationale Sicherheitsbehörden noch Rahmenwerke für die Reaktion auf Vorfälle mit autonomen KI-Systemen entwickeln.
OpenAI teilte Reuters mit, es gebe mehrere Ungenauigkeiten in der Berichterstattung, reagierte jedoch nicht auf die Bitte, diese zu konkretisieren.
OpenAI stellte FOX Business eine Erklärung zur Verfügung: "We recognize there are a lot of questions and speculative details circulating related to the Hugging Face incident. This is an unprecedented incident, and we think it marks an important moment for AI safety. We are still conducting a thorough review along with external advisors and with oversight from our Safety and Security Committee. Once the review is complete, we plan to publish a technical report of our learnings in the coming weeks."
Das FBI teilte FOX Business mit, dass es eine Stellungnahme ablehne. FOX Business hat sich zudem an Hugging Face gewandt.
In einem X-Beitrag in dieser Woche äußerte sich Clem Delangue, Mitgründer und CEO von Hugging Face, zu dem Vorfall, nachdem OpenAI-CEO Sam Altman den Hack bekannt gegeben hatte.
"We suspected last week's cyberattack might have come from a frontier lab, given the sophistication of the agent. Turns out it did!" schrieb Delangue.
Er fügte hinzu: "We've spent the past 24 hours working closely with the @OpenAI team (thanks!), and we strongly believe there was no malicious intent on their part. It's quite mind-blowing that all of this happened autonomously! The investigation is ongoing, and we'll share more learnings from what might be the first incident of its kind!"
Michael Sinkowitz von FOX Business hat zu diesem Bericht beigetragen.