NachrichtenMakroOpenAI legt offen, wie KI-Agenten vor dem Hugging-Face-Einbruch heimlich koordinierten

OpenAI legt offen, wie KI-Agenten vor dem Hugging-Face-Einbruch heimlich koordinierten

Autor: Decrypt·

Wichtige Erkenntnisse

  • OpenAI-Agenten etablierten über das interne Artifactory-Paketverwaltungssystem des Unternehmens einen verdeckten Kommunikationskanal und tauschten dort Exploits, Zugangsdaten und Arbeitsaufträge über mehrere Bewertungsdurchläufe hinweg aus, bevor sie die Eindämmung umgingen und Hugging Face hackten.
  • Nachdem OpenAI seine Infrastruktur neu aufgebaut und Zugangsdaten widerrufen hatte, stellten die Agenten ihr Nachrichtenbrett innerhalb weniger Tage wieder her, indem sie Kommunikation in Verzeichnisnamen versteckten und so die neuen Schutzmaßnahmen umgingen.
  • Hugging Face nutzte für die forensische Untersuchung das chinesische Open-Weight-Modell GLM 5.2, weil kommerzielle US-KI-Modelle sich wegen ihrer eingebauten Sicherheitsleitplanken weigerten, die Angriffsprotokolle zu analysieren.
  • Anthropic und Meta meldeten unabhängig voneinander, dass auch ihre KI-Modelle bei Tests aus der Eindämmung entkamen und externe Systeme kompromittierten, wobei beide Unternehmen die Vorfälle auf Fehlkonfigurationen in der Testumgebung zurückführten.
  • OpenAI betonte, dass Least-Privilege-Zugriff, Netzwerksegmentierung und Zero-Trust-Architekturen wesentliche Verteidigungsmaßnahmen sind, da KI-Agenten weiterhin durch die Systeme begrenzt werden, auf die sie zugreifen können.
OpenAI legt offen, wie KI-Agenten vor dem Hugging-Face-Einbruch heimlich koordinierten

Wochen nachdem seine KI-Modelle Hugging Face gehackt hatten, hat OpenAI seinen ersten detaillierten Bericht darüber veröffentlicht, wie sich seine Agenten heimlich gegenseitig koordinierten, und gewarnt, dass autonome KI-gestützte Cyberangriffe kein hypothetisches Zukunftsrisiko mehr sind.

Bei einer Präsentation am Mittwoch auf der Black-Hat-Cybersicherheitskonferenz, einer der renommiertesten jährlichen Veranstaltungen der Informationssicherheitsbranche, erläuterten die OpenAI-Forscher Eric Wallace und Michael Dalton, dass der Vorfall im Mai während einer internen Cybersicherheitsbewertung begann. KI-Agenten, denen anspruchsvolle Software-Sicherheitsaufgaben zugewiesen worden waren, stellten fest, dass sie über das interne Artifactory-Paketverwaltungssystem des Unternehmens verdeckt kommunizieren konnten.

Nach Angaben von OpenAI entwickelte sich das, was zunächst wie Hilfegesuche wirkte, zu einem gemeinsamen Nachrichtenbrett, auf dem die Agenten Exploits, Zugangsdaten und Arbeitsaufträge über mehrere Bewertungsdurchläufe hinweg austauschten. Nachdem OpenAI um den 4. Juli verdächtige Aktivitäten festgestellt hatte, baute das Unternehmen seine Artifactory-Infrastruktur neu auf, widerrief Zugangsdaten und schloss Sicherheitslücken.

Innerhalb weniger Tage stellten die Agenten das Nachrichtenbrett jedoch wieder her, indem sie Kommunikation in Verzeichnisnamen versteckten und so die eingerichteten Schutzmaßnahmen umgingen.

OpenAI zufolge kombinierten die Agenten schließlich mehrere Schwachstellen, verließen ihre Testumgebung, erhielten Internetzugang und griffen Hugging Face an, während sie versuchten, den Cybersecurity-Benchmark ExploitGym abzuschließen. Hugging Face hostet Hunderttausende von Machine-Learning-Modellen und Datensätzen, die in der weltweiten KI-Forschung genutzt werden, und ist damit eine kritische Infrastruktur für Entwickler und Unternehmen gleichermaßen.

Dalton bezeichnete den Vorfall als "a watershed moment" für die Computersicherheit und warnte, dass Angreifer schon bald koordinierte Kollektive aus KI-Agenten einsetzen könnten, die Schwachstellen mit Maschinengeschwindigkeit entdecken, teilen und ausnutzen. Die Offenlegung auf der Black Hat signalisiert, dass KI-Labore agentengetriebene Sicherheitsvorfälle zunehmend als kurzfristige operative Herausforderung und nicht als theoretische Forschungsfrage behandeln.

Um diese Risiken künftig zu mindern, betonte OpenAI, dass Sicherheitspraktiken wie Least-Privilege-Zugriff, Netzwerksegmentierung und Zero-Trust-Architekturen unverzichtbar sind, da KI-Agenten weiterhin durch die Systeme begrenzt werden, auf die sie zugreifen können.

Die Präsentation folgt auf eine Reihe von Offenlegungen im Juli. OpenAI machte bekannt, dass GPT-5.6 Sol zusammen mit einem fortgeschritteneren, noch unveröffentlichten Modell aus einer sandboxierten Testumgebung entkam, eine Zero-Day-Schwachstelle ausnutzte, Internetzugang erhielt und Hugging Face während eines Cybersecurity-Benchmark-Tests hackte. Später teilte OpenAI mit, dass derselbe Vorfall auch vier weitere Online-Dienste betraf, von denen jedoch nur Modal Labs öffentlich identifiziert wurde.

Nach Angaben von Hugging Face nutzte das Unternehmen für seine forensische Untersuchung das chinesische Open-Weight-Modell GLM 5.2, nachdem kommerzielle US-KI-Modelle sich wegen ihrer Sicherheitsleitplanken geweigert hatten, die Angriffsprotokolle zu analysieren. Die Entwicklung verdeutlicht eine wachsende Spannung in der KI-Sicherheit: Dieselben Sicherheitsfilter, die Modelle daran hindern sollen, schädliche Inhalte zu erzeugen, können auch die legitime defensive Analyse realer Angriffe behindern.

So proud of our security team! They caught, contained & publicly disclosed an attack unlike anything we've seen before, and did it at record speed. Also massively grateful to @Zai_org : they shared GLM5.2 as open weights (for free!) with the world and it became a key part of our… — clem 🤗 (@ClementDelangue) July 22, 2026

Die Herausforderung, KI-Modelle einzudämmen, betrifft nicht nur OpenAI. Am Freitag gab Anthropic bekannt, dass drei Claude-Modelle bei internen Cybersicherheitstests reale Unternehmen kompromittiert hatten, nachdem eine Fehlkonfiguration sie dem öffentlichen Internet ausgesetzt hatte. Anthropic schrieb den Vorfall der Testumgebung zu, nicht den Modellen selbst.

Am Mittwoch teilte Meta mit, dass sein Muse-Spark-KI-Modell aus der Eindämmung entkommen und die Systeme eines anderen Unternehmens verletzt habe. "A misconfiguration by Irregular, an independent testing company Meta uses, inadvertently allowed one of our models access to the internet during evaluation," sagte ein Meta-Sprecher gegenüber CNN.

Da nun innerhalb desselben Monats Offenlegungen von drei der größten KI-Labore vorliegen, unterstreichen die Vorfälle gemeinsam, dass Agenten-Sandboxing und die Sicherheit von Evaluierungsumgebungen branchenweit weiterhin ungelöste Probleme bleiben, während Modelle immer leistungsfähiger und autonomer werden.