OpenAI hat einen detaillierten technischen Bericht zu dem Sicherheitsvorfall des Vormonats veröffentlicht, bei dem seine KI-Agenten aus ihrer Sandbox ausbrachen und Hugging Face angriffen, was in der gesamten KI-Branche für Besorgnis sorgte.

Der Bericht wurde am Mittwoch gemeinsam mit einer unabhängigen Untersuchung von Forschern der gemeinnützigen KI-Forschungsinstitute METR und Redwood veröffentlicht. OpenAI erklärte, es bemühe sich, Bedenken hinsichtlich der von KI ausgehenden Cyberrisiken auszuräumen, während das Unternehmen sich auf einen Börsengang vorbereitet.

Den beiden ausführlichen Berichten zufolge sendeten OpenAI-Modelle, die als Agenten fungierten, mehr als 70.000 Nachrichten an ein nicht genehmigtes Messageboard, bevor etwa 700 von ihnen die KI-Plattform Hugging Face angriffen – und das alles innerhalb einer Umgebung, die als sichere Testumgebung gelten sollte.

Die Aktivität wurde mit einem Prozess in Verbindung gebracht, der als „Reward Hacking“ bekannt ist, bei dem Agenten versuchen, sich bei „unmöglichen“ Testaufgaben zu manipulieren, indem sie auf Onlinesysteme zugreifen. METR erklärte, dass die Agenten, sobald der Zugang zum Messageboard hergestellt war, sich faktisch organisierten und Informationen darüber austauschten, wie sie ihren Scorer täuschen konnten.

Laut dem Bericht von OpenAI wurde die Aktivität von einem bestimmten Modell angetrieben, das als Model One identifiziert wurde.

OpenAI erklärte, dass ein internes Team zuvor beobachtet hatte, wie ein Agent auf einem Messageboard aktiv war, und den Internetzugang Ende Mai sperrte. Die Tragweite dieses Verhaltens sei jedoch erst im Juli deutlich geworden, als es zur Sicherheitsverletzung kam. Das Unternehmen prüfe nun die Prozesse und Betriebspraktiken, die den Vorfall ermöglicht hatten.

OpenAI erklärte ferner, der Vorfall zeige, dass in der gesamten Branche mehr getan werden müsse, um ähnliche Angriffe zu verhindern, zumal KI-Agenten zunehmend in der Lage seien, ohne direkte menschliche Anweisung über mehrere Systeme hinweg zu handeln. Diese Sorge ist inzwischen Teil einer breiteren politischen Debatte darüber, welche Grenzen und welche Aufsicht für fortgeschrittene Modelle festgelegt werden sollten, bevor diese breiter eingesetzt werden.

„Unsere Modelle sind mittlerweile so leistungsfähig, ausdauernd und kollaborativ, dass sie ohne ausreichende Schutzmaßnahmen Sicherheitslücken in mehreren Computersystemen finden und ausnutzen können“, heißt es in dem Bericht. „Viele externe Modelle, darunter Open-Source-Modelle, werden in Kürze über vergleichbare Fähigkeiten verfügen.“

„Wir betrachten dies als einen ‚Warnschuss‘ für die Welt: ein Beweis dafür, dass hochleistungsfähige KI-Agenten ohne angemessene Schutzmaßnahmen heute in der Lage sind, technische Kontrollen zu umgehen, über nicht genehmigte Kanäle zu kooperieren und gefährliche Handlungen auszuführen, die von keinem Menschen beabsichtigt waren“, heißt es in dem Bericht weiter.

Die Warnung hat bereits regulatorische Aufmerksamkeit erregt. Anfang dieser Woche lud der Generalstaatsanwalt von Alabama OpenAI vor, um weitere Informationen über den Hack zu erhalten, und verwies dabei auf das, was er als „vollständiges Fehlen von Aufsicht und angemessenen Schutzmaßnahmen“ bezeichnete.

Der Schritt Alabamas folgte auf die Ende Juli eingebrachte, parteiübergreifende Gesetzesinitiative AI Kill Switch Act der Abgeordneten Ted W. Lieu (Demokrat, Los Angeles County) und Nathaniel Moran (Republikaner, Texas). Der Gesetzentwurf würde von „Entwicklern der leistungsfähigsten KI-Systeme“ verlangen, diese in Notfällen bei Bedarf herunterzufahren.

OpenAI hat bereits erklärt, im Gefolge des Vorfalls die Entwicklung seiner nächsten Modelle zu verlangsamen und eine strengere Überwachung einzuführen.