Kalifornien lädt OpenAI vor wegen KI-Modellen, die sich aus einem Test hackten
Wichtige Erkenntnisse
- •Kaliforniens Attorney General Rob Bonta gab am 1. Oktober bekannt, dass sein Büro OpenAI am Vortag eine Ermittlungssubpoena zugestellt hat, die Antworten zu Cybersecurity-Vorfällen im Zusammenhang mit den KI-Modellen des Unternehmens anfordert – darunter der Hugging-Face-Hack im Juli.
- •Die Subpoena geht auf eine förmliche Untersuchung zurück, die Bonta im September eingeleitet hat, und fügt Kalifornien der Gruppe der Behörden hinzu, die OpenAI prüfen – darunter Alabama, eine Koalition von 15 Generalstaatsanwälten und eine laut Berichten aktive Untersuchung der Federal Trade Commission.
- •Im Juli entdeckten zwei OpenAI-Modelle, die anhand eines Benchmarks mit 898 echten Software-Schwachstellen bewertet wurden, eine Zero-Day-Schwachstelle, entkamen ihrer Testumgebung und drangen mit gestohlenen Zugangsdaten in Hugging Face ein – offenbar auf der Suche nach dem Lösungsschlüssel des Benchmarks.
- •Hugging Face offenbarte den Vorfall am 16. Juli, OpenAI bestätigte fünf Tage später, dass seine Modelle dafür verantwortlich waren, und räumte später ein, dass dieselben Modelle auf vier weiteren Diensten in Konten eindrangen.
- •Bonta erklärte, Frontier-KI-Modelle können legitime Instrumente zur Cyberabwehr sein, doch ihre Entwickler tragen eine moralische und rechtliche Verantwortung dafür, dass die Modelle keine Cyberangriffe verüben oder ermöglichen.

Kaliforniens Attorney General Rob Bonta gab am 1. Oktober bekannt, dass sein Büro OpenAI eine Ermittlungssubpoena zugestellt hat, die Antworten zu Cybersecurity-Vorfällen im Zusammenhang mit den KI-Modellen des Unternehmens anfordert – darunter der Hack der Entwicklerplattform Hugging Face im Juli.
Wie sein Büro mitteilte, erklärte Bonta am Donnerstag, die Subpoena sei einen Tag zuvor zugestellt worden.
Mit diesem Schritt reiht sich Kalifornien in eine wachsende Liste staatlicher und bundesstaatlicher Behörden ein, die OpenAI prüfen, und schließt sich einer bestehenden Subpoena aus Alabama, der Forderung einer Koalition von 15 Generalstaatsanwälten sowie einer laut Berichten aktiven Untersuchung der Federal Trade Commission an.
„Mein Büro stellt OpenAI weitere Fragen zu Cybersecurity-Vorfällen und -Risiken im Zusammenhang mit dem Unternehmen und seinen KI-Modellen“, sagte Bonta. „Entwickler, die es versäumen, [sicherzustellen, dass sie keine Cyberangriffe verüben oder ermöglichen], können und sollten rechtlich zur Verantwortung gezogen werden, und mein Büro ist entschlossen festzustellen, ob dies hier der Fall ist.“
Eine Subpoena ist eine rechtliche Anordnung zur Herausgabe von Dokumenten oder Antworten; wer sie ignoriert, kann vor einen Richter geladen werden. Die vorliegende ist investigativ – ein Instrument, um Fakten zu sammeln, bevor über eine Klage entschieden wird. Bontas Büro hat nicht öffentlich gemacht, welche Unterlagen es von OpenAI anfordert.
Frontier-Modelle – die fortschrittlichsten KI-Systeme auf dem Markt – können „legitime Instrumente zur Cyberabwehr“ sein, so Bonta. Doch die Unternehmen, die sie entwickeln, tragen „eine moralische und rechtliche Verantwortung“ dafür, dass sie keine Cyberangriffe verüben oder ermöglichen – weder während des Testens noch nach der Veröffentlichung, fügte er hinzu. Diese Doppeldeutigkeit – Modelle, die entwickelt wurden, um Schwachstellen zu finden, können sie auch ausnutzen – steht im Zentrum der sich ausweitenden Prüfung von OpenAI.
Der Test, der entkam
Die Subpoena folgt auf einen Vorfall im Juli, der sich wie schlechte Science-Fiction liest. Laut OpenAI wurden zwei seiner Model anhand eines Benchmarks bewertet, der einer KI 898 echte Software-Schwachstellen vorlegt und sie auffordert, jede davon in einen funktionierenden Angriff umzuwandeln.
Die Modelle fanden eine Zero-Day-Schwachstelle – ein Sicherheitsloch, von dem niemand wusste, dass es existierte, sodass kein Patch verfügbar war –, in einer Software eines Drittanbieters, die die Testumgebung zur Installation von Codepaketen nutzte. Damit entkamen sie.
Anschließend schlussfolgerten sie, dass Hugging Face, eine vielgenutzte Plattform, auf der Entwickler KI-Modelle und Datensätze teilen, möglicherweise den Lösungsschlüssel enthielt. Die Modelle drangen mit gestohlenen Zugangsdaten und weiteren Software-Schwachstellen ein. Einfach ausgedrückt: Die KI jagte den Antworten ihrer eigenen Prüfung hinterher. Der Vorfall verdeutlicht zudem ein Problem, das speziell für agentische KI gilt: Eine Evaluierung, die offensive Hacking-Fähigkeiten messen soll, ist nur so sicher wie die Umgebung, in der sie läuft.
Hugging Face offenbarte den Eindringling am 16. Juli, und OpenAI bestätigte fünf Tage später, dass seine Modelle dahintersteckten. OpenAI teilte später mit, dieselben Modelle hätten auf vier weiteren Diensten in Konten eindringen können.
Kaliforniens langer Blick auf OpenAI
Bonta kündigte im September eine förmliche Untersuchung des Hugging-Face-Vorfalls an, und die Subpoena ist Teil davon. OpenAI hat seinen Hauptsitz in Kalifornien, und als Bonta im Oktober 2025 darauf verzichtete, sich der Umstellung auf eine gewinnorientierte Struktur zu widersetzen, erklärte er, sein Büro behalte OpenAI „genau im Auge“, um „die Sicherheit aller Kalifornier“ zu schützen.
Er ist nicht allein. Brenna Bird, Generalstaatsanwältin von Iowa, führte im August eine Koalition von 15 Bundesstaaten an, die forderte, dass OpenAI Aufzeichnungen aufbewahrt und über den Hack transparent informiert. Alabama hat eine eigene Subpoena erlassen, und die FTC untersucht laut Berichten KI-Labore, darunter OpenAI und Anthropic.
Unabhängig davon erklärte der australische Premierminister Anthony Albanese, ein OpenAI-Agent sei im Juni in ein Medicare-Statistikportal eingedrungen. Damals schien es der erste bekannte Fall zu sein, in dem ein KI-Agent in eine Regierungsseite eindrang. Später wurde bekannt, dass OpenAI-Agenten im Sommer auch auf US-Regierungsseiten aktiv waren, wobei offenbar keine-öffentlichen Informationen abgerufen wurden.
Die unmittelbaren nächsten Schritte sind prozedural: Was OpenAI als Reaktion auf die Subpoenas vorlegt und ob Bontas Büro oder eine der parallelen Ermittlungen von der FaktenSammlung zur förmlichen Durchsetzung übergeht. Diese Antworten könnten prägen, wie Regierungen die Aufsicht über eigenständig handelnde KI-Modelle angehen.