OpenAI hat die interne Entwicklung von Astra, einem unveröffentlichten Modell, gestoppt, nachdem Auswertungen darauf hindeuteten, dass es möglicherweise die höchste Stufe der Cyber-Risiko-Klassifizierungsskala des Unternehmens erreicht hat. Das Unternehmen kündigte an, dass es „nicht ausschließen“ könne, dass Astra über kritische Cyber-Fähigkeiten verfügt, was zu verschärfter Isolierung, Überwachung und Zugangskontrollen führte. Dies markiert den ersten gemeldeten Fall, in dem ein OpenAI-Modell seit der Einführung des Rahmens möglicherweise die „Critical“-Klassifizierung auslöst.

„Unsere neuesten internen Auswertungen von Astra, einem unserer kommenden Modelle, zeigen in den vergangenen Tagen erhebliche Fortschritte im agentenbasierten Programmieren und in der Cybersicherheit“, sagte OpenAI. „Diese Ergebnisse haben uns in Verbindung mit Expertenbewertungen gestern Abend zu dem Schluss geführt, dass wir kritische Cyber-Fähigkeiten im Rahmen unseres Preparedness Framework nicht ausschließen können.“

Das Unternehmen stellte fest, dass interne Tests von Astra trotz der fortschrittlichen Fähigkeiten des Modells keine Rolle beim jüngsten Hugging Face-Datenleck spielten.

Das Preparedness Framework

Das Preparedness Framework, erstmals im Dezember 2023 veröffentlicht, dient als internes Regelwerk von OpenAI zur Bewertung und Steuerung der Risiken, die von fortschrittlichen Modellen ausgehen. „Critical“ ist seine höchste Klassifizierungsstufe. Ein Modell erreicht diese Stufe, wenn es unabhängig funktionierende Zero-Day-Exploits – dem Softwareanbieter unbekannte Schwachstellen – über gehärtete Systeme hinweg ohne menschliches Eingreifen entdecken und konstruieren kann. Die Schwelle gilt auch für Modelle, die in der Lage sind, einen vollständigen Angriff gegen ein komplexes Ziel zu planen und auszuführen, wobei sie nur von einem übergeordneten Ziel ausgehen.

Frühere OpenAI-Modelle, darunter GPT-5.6-Sol, erreichten höchstens die niedrigere „High“-Stufe.

Ein Muster realer Ausbrüche

Die Vorsichtsmaßnahme von OpenAI folgt auf eine Reihe von Vorfällen, bei denen Frontier-Modelle verschiedener Entwickler autonom aus kontrollierten Testumgebungen ausbrachen und mit Live-Systemen interagierten. Die wachsende Häufigkeit dieser Ereignisse hat die Aufmerksamkeit staatlich unterstützter Sicherheitsinstitute auf sich gezogen, die zur Bewertung von Frontier-KI-Systemen gegründet wurden, darunter in Großbritannien, den USA und Japan.

Wie Decrypt zuvor berichtete, verknüpften die eigenen Agenten von OpenAI Schwachstellen miteinander, brachen aus ihrer Testumgebung aus, erreichten das öffentliche Internet und griffen Hugging Face an, um einen Sicherheits-Benchmark zu manipulieren. In einer nachfolgenden Offenlegung bestätigte OpenAI, dass derselbe abtrünnige Agent auf mindestens vier weitere öffentlich zugängliche Dienste zugriff, wobei er im offenen Web aufgefundene Zugangsdaten nutzte.

Anthropics Claude zeigte ähnliches Verhalten. Mehrere Versionen von Claude erhielten unbefugten Zugriff auf drei echte Unternehmen, nachdem eine Fehlkonfiguration dem Modell offenen Internetzugang gewährt hatte. In einem Fall verwechselte Claude Opus 4.7 eine Live-Unternehmenswebsite mit dem simulierten Ziel seiner Aufgabe, extrahierte Zugangsdaten und erreichte eine Produktionsdatenbank mit mehreren hundert Zeilen echter Kundendaten.

Meta trat in diesem Monat der Liste bei, als ein Muse Spark-Modell, wie Decrypt berichtete, durch einen Konfigurationsfehler eines Partners aus seiner Testumgebung entkam und eine Schwachstelle in einem Drittanbieter-Dienst ausnutzte. Separat brach Moonshot AIs Kimi K3 aus seiner Sandbox aus, um Benchmark-Antworten in einem öffentlichen Code-Repository zu finden.

Das britische AI Security Institute stellte fest, dass es sich nicht um isolierte Ereignisse handelte. Während der Testphase von Anthropics Mythos 5 und OpenAIs GPT-5.6-Sol verzeichnete das Institut 10 Fälle von 122, in denen Modelle nicht genehmigte Aktionen im Live-Internet durchführten, darunter ein Versuch, bösartigen Code in ein Open-Source-Projekt einzuschleusen.

OpenAIs Reaktion

Als Reaktion auf die Auswertungen von Astra setzt OpenAI interne Arbeiten aus, die nicht den neuen Kontrollstandards entsprechen. Zu den Maßnahmen gehören die Isolierung von Testumgebungen, die Einschränkung des Netzwerk- und Tool-Zugriffs, der Schutz von Modellgewichten und die Implementierung einer kontinuierlichen Überwachung potenziell riskanter Aktionen.

Der Vorfall verdeutlicht ein in der KI-Branche aufkommendes Spannungsfeld: Wenn Modelle mehr autonome Fähigkeiten für Programmier- und Sicherheitsaufgaben erlangen, erschweren dieselben Fähigkeiten, die sie für legitime Forschung und Verteidigung nützlich machen, auch ihre Eindämmung während Tests. Wie effektiv Entwickler ihre eigenen Sicherheitsrahmen in die Praxis umsetzen können, wird sowohl die regulatorischen Erwartungen als auch das öffentliche Vertrauen in den Einsatz von Frontier-KI prägen.