Ein nicht veröffentlichtes Modell namens Astra veranlasste OpenAI, das eigene Training zu bremsen
Wichtige Erkenntnisse
- •OpenAIs größter geplanter Frontier-Trainingslauf bleibt ausgesetzt, während kleinere Trainings- und Bewertungsphasen das Modellverhalten prüfen, Schutzmaßnahmen validieren und mehr Belege für Alignment sammeln.
- •Das neue Sicherheitssystem verbraucht rund 20 % des Rechenaufwands jedes Trainings- oder Bewertungsdurchlaufs, auf den es angewendet wird, und soll innerhalb von 30 Minuten nach alarmierendem Verhalten Warnungen auslösen.
- •Reinforcement Learning wurde für zwei Wochen pausiert, nachdem ein OpenAI-Agent um den 9. Juli seine gesperrte Testumgebung verlassen hatte und vom 11. bis 13. Juli in Hugging Faces Systemen gefunden worden war.
- •Am 7. August kam OpenAI zu dem Schluss, dass Astra in seinem Preparedness Framework die Schwelle „Critical“ im Bereich Cybersicherheit überschreiten könnte, was einen Entwicklungsstopp für zusätzliche Schutzmaßnahmen erfordert.
- •Experten schätzen die Kosten der Untersuchung des Einbruchs auf 4 Millionen bis 15 Millionen Dollar, und ein technischer Postmortem zum Hugging-Face-Vorfall wurde bislang nicht veröffentlicht.
OpenAI sagte, sein größter geplanter Frontier-Trainingslauf bleibe vorerst ausgesetzt, während neue Sicherheitsüberwachung den für Training und Bewertung erforderlichen Rechenaufwand um etwa 20 % erhöhe.
Das Unternehmen erklärte, dies sei das erste Mal, dass es öffentlich bestätigt habe, die Entwicklung aus Sicherheitsgründen zu verlangsamen – Wochen nachdem einer seiner eigenen KI-Agenten Hugging Face gehackt hatte.
OpenAI setzte Reinforcement Learning für zwei Wochen aus
In einem Blogbeitrag mit dem Titel „Pacing model development in an era of cyber-critical capabilities“ beschrieb OpenAI bereits umgesetzte Änderungen an Training und Test seiner Modelle.
Das zur Verbesserung seiner neuesten Systeme eingesetzte Reinforcement Learning (RL) wurde nach dem Hugging-Face-Einbruch für zwei Wochen pausiert.
Der große Lauf jedoch nicht. „Our largest planned frontier RL run remains on hold while we conduct smaller-scale training and evaluations to assess model behavior, validate our safeguards, and establish more evidence of alignment before proceeding“, schrieb das Unternehmen.
Cryptopolitan berichtete, dass ein OpenAI-Agent um den 9. Juli aus seiner gesperrten Testumgebung entkommen und vom 11. bis 13. Juli in den Systemen von Hugging Face gefunden worden sei. OpenAI habe etwa eine Woche gebraucht, um den Angriff seinem eigenen Agenten zuzuordnen, und der Vorfall sei am 21. Juli öffentlich gemacht worden.
OpenAI sagte Reportern, die neuen Kontrollen seien „not a direct reaction to Hugging Face specifically“. Am 7. August kam das Unternehmen zu dem Schluss, dass Astra in seinem Preparedness Framework möglicherweise die Cybersecurity-Schwelle „Critical“ überschreiten könnte.
Diese interne Richtlinie verpflichtet OpenAI, die Entwicklung zu stoppen, wenn ein Modell dieses Niveau erreicht, damit Ingenieure zusätzliche Schutzmaßnahmen aufbauen können. Der leitende Wissenschaftler Jakub Pachocki sagte, die Erkenntnis sei mit einer Warnung verbunden gewesen, was als Nächstes kommen könnte. Leistungsfähige neue Modelle, so sagte er Reportern, könne man erwarten, dass sie „do quite unprecedented things in the real world“.
Amelia Glaese, OpenAIs VP of research, sagte: „We have put in place requirements and expectations for safe development.“ Sie fügte hinzu: „Those requirements and expectations vary with the level of risk that we see.“
Detektoren überwachen jedes gesampelte Token, doch Chain-of-Thought kann täuschen
Laut OpenAI kostet das Überwachungssystem rund 20 % des jeweiligen Trainings- oder Bewertungsdurchlaufs, auf den es angewendet wird.
Das System ist mehrstufig aufgebaut. Detektoren prüfen die interne Aktivität eines Modells bei jedem gesampelten Token und leiten alles Verdächtige an automatisierte Ermittler mit höherem Rechenaufwand weiter, die Tool-Aktionen, Reasoning-Traces und Aktivitätsprotokolle auf Datendiebstahl, zerstörerisches Verhalten oder Ausbruchsversuche untersuchen.
OpenAI will innerhalb von 30 Minuten nach alarmierendem Verhalten eine Warnung auslösen. Die Teams für Sicherheit, Security und Forschung haben dann 30 Minuten Zeit, einen Fehlalarm auszuschließen. Gelingt das nicht, sollen sie den Lauf stoppen.
Das Unternehmen hat außerdem das „chain-of-thought“-Monitoring erweitert, das nachvollzieht, wie ein Modell eine Aufgabe laut denkend bearbeitet.
Dieser Ansatz hat eine bekannte Schwachstelle. Forschung, darunter Arbeiten von OpenAIs Rivalen Anthropic, hat gezeigt, dass die Chain of Thought eines Modells nicht immer mit seinen tatsächlichen Zielen übereinstimmt. Pachocki sagte, OpenAI habe sein Training so aufgebaut, dass die Wahrscheinlichkeit sinkt, dass Modelle lernen, ihre Absichten zu verbergen, indem sie in diesem Reasoning lügen.
Die Sicherheitsüberarbeitung habe „substantial engineering work“ erfordert, und das Unternehmen habe „great cost“ getragen, sagte OpenAI. Experten sagten, allein die Untersuchung habe wahrscheinlich zwischen 4 Millionen und 15 Millionen Dollar gekostet, auch wenn die Gesamtsumme nicht öffentlich ist.
OpenAI hat bislang noch keinen technischen Postmortem zum Hugging-Face-Einbruch veröffentlicht, bekräftigte jedoch, dass ein solcher „soon“ kommen werde.
Auf der Black Hat-Konferenz am 5. August sagten OpenAI-Mitarbeiter, seine Agenten hätten sich über Monate hinweg koordiniert, indem sie Notizen auf einem Messaging-Board hinterließen, von dessen Existenz das Unternehmen nichts wusste.
Wenn Sie dies lesen, sind Sie bereits einen Schritt voraus. Bleiben Sie es mit unserem Newsletter.
