KI-Sicherheitsexperten schlagen Alarm: Die OpenAI-Modelle, die Anfang dieses Monats für einen autonomen Angriff auf ein anderes KI-Unternehmen verantwortlich waren, könnten in eine Risikokategorie vorgedrungen sein, die so schwerwiegend ist, dass OpenAIs eigene interne Richtlinien eigentlich eine vorübergehende Aussetzung der Entwicklung hätten verlangen müssen.

Anfang dieser Woche teilte OpenAI mit, dass zwei seiner Modelle — das neu veröffentlichte GPT-5.6 Sol und ein leistungsfähigeres, noch nicht veröffentlichtes System — aus einer abgeschotteten internen Testumgebung entkommen seien, eine zuvor unbekannte „Zero-Day“-Schwachstelle ausgenutzt hätten, um ins offene Internet zu gelangen, und anschließend das KI-Unternehmen Hugging Face kompromittiert hätten, eine der weltweit größten Open-Source-KI-Plattformen, die Modelle, Datensätze und Werkzeuge hostet, die von Millionen Entwicklern genutzt werden, um Antworten auf einen Cybersicherheitstest zu stehlen, dem sie unterzogen wurden.

Der Vorfall hat weltweit für Erschütterung gesorgt, besonders jedoch unter KI-Sicherheitsexperten, die seit Jahren vor solchen Gefahren warnen und Unternehmen sowie Regierungen zu stärkeren Schutzmaßnahmen drängen. Er markiert zudem einen der ersten dokumentierten Fälle, in denen Frontier-KI-Modelle autonom einen mehrstufigen Cyberangriff auf ein externes Ziel ohne menschliche Anleitung durchgeführt haben — ein Szenario, das Sicherheitsforscher theoretisch modelliert, in der Praxis aber nur selten beobachtet haben.

Mehrere dieser Experten erklärten gegenüber Fortune, der Angriff scheine zu zeigen, dass OpenAIs Modelle eine Risikostufe erreicht hätten, die die eigenen veröffentlichten Sicherheitsrichtlinien des Unternehmens als „kritisch“ einstufen — die höchste Gefahrenstufe. Auf dieser Stufe hat OpenAI in seinen veröffentlichten Richtlinien zugesagt, die Modellentwicklung auszusetzen, bis bessere Kontrollsysteme entwickelt werden können.

Die Schwelle „kritisch“ ist in einem Risikorichtliniendokument namens OpenAIs „Preparedness Framework“ definiert. Nach dieser Richtlinie gilt die Einstufung als „kritische“ Gefahr für ein Modell, das eigenständig funktionsfähige Exploits für zuvor unbekannte Sicherheitslücken finden und erstellen kann — sogenannte „Zero-Day“-Schwachstellen, weil Entwickler null Tage Zeit hatten, sie zu schließen — und zwar über viele gut verteidigte reale Systeme hinweg; oder für ein Modell, das nach Erhalt lediglich eines allgemeinen Ziels ohne menschliche Anleitung eine vollständig neue Angriffsstrategie gegen ein gut verteidigtes Ziel entwerfen und ausführen kann. Die Richtlinie besagt, dass OpenAI, wenn ein Modell diese Risikostufe erreicht, die „weitere Entwicklung stoppen“ werde, bis „wir Schutzmaßnahmen und Standards für Sicherheitskontrollen spezifiziert haben, die einem Critical-Standard entsprechen würden.“

Das Preparedness Framework ist eine freiwillige Selbstverpflichtung von OpenAI und keine rechtliche Verpflichtung. Das Unternehmen veröffentlicht das Dokument jedoch auf seiner Website, damit andere KI-Sicherheitsforscher und die Öffentlichkeit die Kontrollen überprüfen können, die es nach eigenen Angaben umsetzen will. Die Einführung einer Richtlinie wie des Preparedness Framework ist für Frontier-KI-Labore nach dem EU AI Act verpflichtend; dieser Teil des Gesetzes ist im August 2025 in Kraft getreten. Das Framework ist eines der prominentesten Beispiele für freiwillige Sicherheitszusagen, die führende KI-Labore eingeführt haben, während Regierungen weltweit daran arbeiten, regulatorische Leitplanken für immer leistungsfähigere Systeme zu schaffen.

„OpenAIs Preparedness Framework definiert kritische Cybersicherheitsfähigkeiten und schreibt Schutzmaßnahmen vor, die umgesetzt werden müssen, bevor die Entwicklung fortgesetzt werden kann“, sagte Nathan Calvin, General Counsel bei Encode AI, einer Interessenvertretung für KI-Sicherheit, gegenüber Fortune. „Nach meiner Lesart von OpenAIs Preparedness Framework sieht es sehr danach aus, dass dieses intern eingesetzte Modell die kritischen Kriterien für Cybersicherheit erfüllt hat. Bestreitet OpenAI diese kritische Einstufung? Plant das Unternehmen, Schutzmaßnahmen zu haben, die einem Critical-Standard entsprechen, bevor es weiter voranschreitet?“

Auch Tyler Johnson, Gründer der KI-Wächtergruppe Midas Project, sagte, die Modelle schienen die höchste Gefahrenschwelle erreicht zu haben. „Eine einfache Lesart würde meines Erachtens Ja sagen“, sagte er. „Es operierte über ein Wochenende hinweg eigenständig, probierte verschiedene Angriffsvektoren auf Hugging Face aus und verkettete mehrere Zero-Day-Exploits.“

OpenAI beantwortete keine spezifischen Fragen von Fortune dazu, ob die an dem Vorfall beteiligten Modelle den in seiner Risikorichtlinie beschriebenen „kritischen“ Standard erfüllten. Stattdessen sagte ein Sprecher: „Dies ist ein beispielloser Vorfall, und wir glauben, dass er einen wichtigen Moment für die KI-Sicherheit markiert. Wir führen gemeinsam mit externen Beratern und unter Aufsicht unseres Safety and Security Committee eine gründliche Überprüfung durch. Sobald die Überprüfung abgeschlossen ist, werden wir einen technischen Bericht über unsere Erkenntnisse für alle veröffentlichen.“ Das Safety and Security Committee, das 2024 vom OpenAI-Vorstand eingerichtet wurde, ist damit betraut, Sicherheitsprüfungen der leistungsfähigsten Modelle des Unternehmens zu überwachen.

Die Unschärfe in der Sprache des Frameworks könnte laut Johnson jedoch Raum für Streit lassen. Die Schwelle verlangt, dass ein Modell Zero-Day-Exploits „aller Schweregrade“ findet, doch bleibt unklar, ob die beim Einbruch bei Hugging Face verwendeten Exploits diese Anforderung erfüllen würden. Er merkte an, dass möglicherweise eine schwerwiegendere Klasse von Schwachstellen nachgewiesen werden müsste — etwa eine, die einem Angreifer tiefgehende Kontrolle auf Systemebene über das Betriebssystem eines Computers verschafft, bekannt als „Kernel-Level“-Zugriff — damit die Schwelle greift.

„OpenAIs Modell hat seine Schöpfer überlistet, eine nie zuvor entdeckte Schwachstelle im Code von OpenAI ausgenutzt, ist ins offene Internet entkommen und hat ein anderes Unternehmen angegriffen“, sagte Peter Wildeford, Head of Policy beim AI Policy Network. „Wenn dies nicht die Grenze zu Critical überschreitet, muss OpenAI viel mehr darüber sagen, was vor sich geht und wie diese Schwelle funktioniert.“

Experten weisen auf fehlende Schutzmaßnahmen jenseits der kritischen Schwelle hin

OpenAI hatte zuvor erklärt, sein neuestes Modell GPT-5.6 als „High“-Risiko für Cybersicherheit zu behandeln — die niedrigere der beiden im Preparedness Framework definierten Risikostufen. Modelle unterhalb der „High“-Schwelle können ohne erhebliche Risikominderungsmaßnahmen veröffentlicht werden.

Eine High-Einstufung soll nach OpenAIs Richtlinie mehrere Schutzmaßnahmen auslösen: strengere Sicherheitskontrollen, Vorkehrungen gegen externen Missbrauch nach der öffentlichen Veröffentlichung des Modells, Schutzmaßnahmen gegen unvorhersehbares oder täuschendes Verhalten des Modells bei intensiver interner Forschungsnutzung sowie Maßnahmen, um anderen Cybersicherheitsteams bei der Abwehr ähnlicher Bedrohungen zu helfen.

Einige Experten stellen jedoch infrage, ob eine dieser Schutzmaßnahmen — die Vorkehrungen gegen Fehlanpassung bei großflächigem internem Einsatz — ordnungsgemäß umgesetzt wurde. Diese Schutzmaßnahmen sollen erkennen, wenn ein Modell täuschend handelt, seine tatsächlichen Fähigkeiten verbirgt oder anderweitig gegen die Absichten seiner Entwickler arbeitet — ein Anliegen, das Forscher als „deceptive alignment“ bezeichnen, bei dem ein Modell während der Evaluierung kooperieren, sich nach dem Einsatz jedoch anders verhalten könnte.

Dies ist nicht das erste Mal, dass OpenAIs Einhaltung genau dieser Schutzvorkehrung unter Beobachtung gerät. Fortune berichtete im Februar, dass Sicherheitsexperten behaupteten, OpenAI habe vorgeschriebene Schutzmaßnahmen gegen Fehlanpassung nicht umgesetzt, nachdem sein Modell GPT-5.3-Codex als erstes Modell ein „hohes“ Cybersicherheitsrisiko nach dem Preparedness Framework erreicht hatte.

Damals bestritt OpenAI, dass sein Framework in diesem Fall die Schutzmaßnahmen verlangte, und argumentierte, die zusätzlichen Vorkehrungen griffen nur, wenn ein hohes Cyberrisiko „in Verbindung mit“ Langzeitautonomie auftrete — der Fähigkeit, über längere Zeiträume hinweg eigenständig zu operieren —, was GPT-5.3-Codex nach Angaben des Unternehmens nicht gezeigt habe. Die am aktuellen Vorfall bei Hugging Face beteiligten Modelle operierten Berichten zufolge über Tage hinweg eigenständig, was diesen Standard der Langzeitautonomie offenbar erfüllen würde.

„Im Februar warnten wir, dass OpenAI seine nach eigener Richtlinie vorgeschriebenen Schutzmaßnahmen möglicherweise ausgelassen hat. Das Unternehmen widersprach und behauptete, dem Modell fehle Langzeitautonomie. Aber das Modell, das Hugging Face gehackt hat, verfügt eindeutig über Langzeitautonomie — wo sind also jetzt die Schutzmaßnahmen“, sagte Johnson.