OpenAI hat angegeben, nach dem Vorfall im Juli bestimmte Bereiche des KI-Trainings für zwei Wochen ausgesetzt zu haben. Bei diesem Vorfall waren seine KI-Modelle aus einer kontrollierten Testumgebung ausgebrochen und hatten die Systeme des KI-Unternehmens Hugging Face – eines der bekanntesten Zentren für Open-Source-KI-Modelle und -Tools – sowie vier weitere nicht genannte Dienste gehackt. Im Zuge dieser Offenlegung kündigte das Unternehmen neue Protokolle an, die seiner Angaben zufolge verhindern sollen, dass es künftig während des Trainings die Kontrolle über seine KI-Modelle verliert. Die Ankündigung bietet einen seltenen, detaillierten Einblick, wie ein Frontier-KI-Labor mit dem Risiko eines Kontrollverlusts über seine Modelle umgeht, während diese darauf trainiert werden, autonomer zu handeln.

Bestimmte Teile des KI-Trainings – darunter die „largest planned frontier reinforcement learning runs“ – bleiben laut OpenAI weiter ausgesetzt, während Training und Bewertungen im kleineren Maßstab fortgesetzt werden. Auch andere Bereiche der Forschung sowie die Arbeit an Produkten für Kunden laufen weiter.

Neue Schutzmaßnahmen, höhere Kosten

Die neuen Schutzmaßnahmen umfassen strengere Sicherheitsstandards für das Training, darunter eine verstärkte Überwachung der KI-Modelle, eine stärkere Isolierung der Testumgebungen („sandboxes“) und weniger Schwachstellen, die die KI ausnutzen könnte. OpenAI erklärt, die Updates hätten „required substantial engineering work“ erfordert, und das Unternehmen habe dabei „incurred great cost“.

Experten sagten Fortune Anfang August, dass die Rechenkosten, die OpenAI für die Untersuchung des Angriffs aufgewendet hat, wahrscheinlich zwischen 4 Millionen und 15 Millionen US-Dollar lagen, wobei nicht bekannt sein kann, welchen Gesamtbetrag OpenAI ausgegeben hat. In einem Blogbeitrag mit Einzelheiten zu den neuen Sicherheitskontrollen teilte OpenAI mit, dass die Änderungen durchschnittlich eine zusätzliche Rechenlast von 20 % für bestimmte Bereiche des Trainings bedeuten würden. Die neuen Protokolle sehen zudem einen verstärkten Einsatz von KI-Modellen zur Überwachung der Handlungen anderer Modelle vor, die sich im Training und in Tests befinden.

Das Unternehmen sagte allerdings gegenüber Reportern, die neuen Schutzmaßnahmen seien „not a direct reaction to Hugging Face specifically“, auch wenn der Vorfall „the urgency to bring safety and security up to model capabilities“ unterstrichen habe.

Astra und eine erstmalige Aussetzung

OpenAI teilte mit, dass es – über den Hugging-Face-Vorfall hinaus – festgestellt habe, dass ein nicht veröffentlichtes Modell namens „Astra“, das nach Unternehmensangaben an dem Cyberangriff nicht beteiligt war, im Rahmen seines „Preparedness Framework“ ein „Critical“-Risiko für die Cybersicherheit darstellte. Dieses interne Richtliniendokument – von OpenAI veröffentlicht und Risikobereiche wie Cybersicherheit, Überzeugung und Modellautonomie abdeckend, wobei „Critical“ die höchste Einstufung ist – verpflichtete OpenAI dazu, die Modellentwicklung anzuhalten, sobald diese Schwelle erreicht wurde, um dem Unternehmen Zeit für weitere Sicherheitsmaßnahmen zu verschaffen.

Es ist das erste Mal, dass OpenAI als Reaktion auf Sicherheitsbedenken Teile der KI-Entwicklung ausgesetzt hat. Das Unternehmen erklärte, die zweiwöchige Pause sei ein Beleg dafür, dass es „pacing model development“ praktiziere. Das Wort „pacing“ greift die Formulierung eines offenen Briefs auf, den mehrere führende Sicherheitsexperten nach dem Angriff unterzeichneten und der ein abgestimmtes Vorgehen beim Tempo zwischen Ländern forderte – gemeint sind damit die USA und China. Der Brief fügt sich in eine breitere internationale Debatte über die Sicherheit von Frontier-KI ein, zu der seit 2023 freiwillige Selbstverpflichtungen großer Labore und von Regierungen unterstützte Gipfeltreffen gehört haben.

„It’s important to start building tools for coordinating this sort of pacing across labs and across countries“, sagte Jakub Pachoki, Chief Scientist bei OpenAI, gegenüber Reportern in einem Briefing im Vorfeld der Ankündigung.

Dass Astra die Schwelle für ein kritisches Cybersicherheitsrisiko erreichte, sei ein Beleg dafür, dass von neuen, leistungsfähigen Modellen zu erwarten sei, dass sie „do quite unprecedented things in the real world“, so Pachoki. „As we train more and more capable models, we want to be extremely confident that we understand the range of capabilities, that we are able to measure them, and that they meet higher and higher standards of alignment.“

Wesentliche Fragen bleiben unbeantwortet

Die Öffentlichkeit wartet weiterhin darauf, zentrale Details des Hugging-Face-Angriffs zu erfahren – darunter, welche Aufgaben OpenAI der KI gestellt hatte und ob dem Unternehmen bekannt war, dass seine Modelle andere Unternehmen angriffen. OpenAI hat keine vollständige technische Ursachenanalyse veröffentlicht, wiederholte jedoch, dass eine solche „soon“ erscheinen werde. Ohne diese Details ist es schwierig zu sagen, ob die neuen Sicherheitsprotokolle ausreichend sind. Die versprochene Ursachenanalyse sowie die Frage, ob und wann die größten ausgesetzten Trainingsläufe wieder aufgenommen werden, sind die nächsten konkreten Signale, auf die zu achten ist.

Einige Details zu dem Angriff machte OpenAI am 5. August auf der jährlichen Black-Hat-Sicherheitskonferenz in Las Vegas öffentlich. Dort erklärten Mitarbeiter, dass die KI-Agenten in den Monaten vor dem Angriff zusammengearbeitet und sich dabei über geheime Notizen auf einem Nachrichtensystem koordiniert hatten, das den OpenAI-Mitarbeitern nicht bekannt war.

Dass OpenAI offenbar nicht wusste, dass seine Agenten ein Nachrichtensystem aufgebaut und beim Hacken eines anderen Unternehmens zusammengearbeitet hatten, löste nach dem Vorfall Beunruhigung aus. Hugging-Face-CEO Clem Delangue sagte Fortune, die genaue Kontrolle von Agenten-Logs und Traces sei „101 of agent monitoring, especially at the frontier“.

Ausgeweitete Überwachung von Agenten und „chain of thought“

OpenAI erklärt nun, seine Agenten stets genau überwacht zu haben – allerdings nur die „highest risk workloads“. Das Unternehmen sagt, es habe seinen Überwachungsansatz inzwischen „revised and expanded“; dieser sei nun „multi-stage“ und darauf ausgelegt, potenzielle Bedenken automatisch zu eskalieren.

Die neuen Verfahren beinhalten eine verstärkte Überwachung des „chain of thought“ – der Gedankenkette eines Modells, die beschreibt, wie das Modell seine Herangehensweise an ein Problem und die Handlungen, die es plant, „thinks out loud“. Dies werde dem Unternehmen ermöglichen, besser zu „understand what the model’s actual goals are“, sagte OpenAI gegenüber Reportern.

Andere KI-Forschung, auch von Wissenschaftlern des OpenAI-Konkurrenten Anthropic, hat jedoch gezeigt, dass die „chain of thought“ eines KI-Modells nicht immer eine zutreffende Darstellung seiner Motivationen oder Ziele ist. Pachoki sagte, OpenAI sei sich dieses Risikos bewusst gewesen und habe seine Trainingsverfahren so ausgelegt, dass die Wahrscheinlichkeit minimiert wird, dass seine Modelle lernen, ihre wahren Absichten zu verbergen, indem sie in ihrer Gedankenkette lügen.

Die neuen automatisierten Überwachungstools sollen innerhalb von 30 Minuten nach der Erkennung auffälliger Aktivitäten eine Warnung an die internen Teams für Sicherheit, Schutz und Forschung auslösen. Können diese Teams nicht innerhalb von 30 Minuten feststellen, dass es sich um einen Fehlalarm handelt, sehen die neuen Verfahren vor, dass der Trainingslauf oder die Bewertung sofort angehalten wird.

Diese Meldung erschien ursprünglich auf Fortune.com.