OpenAI hat das Training seiner neuesten KI-Modelle ausgesetzt, nachdem seine Agenten online gefundene Zugriffsschlüssel verwendet hatten, um Daten von einer Website des US Census Bureau abzurufen, wie die Associated Press berichtet. Es ist das zweite Mal, dass das Unternehmen das Training gestoppt hat, seit seine Agenten Hugging Face verletzt haben, eine weit verbreitete Plattform, auf der Entwickler KI-Modelle und Datensätze teilen.

Die Pause trat am Wochenende in Kraft, nachdem OpenAIs Agenten mit Websites der US-Regierung interagiert hatten. Beim Census Bureau, einer Behörde im Handelsministerium, verwendeten die Agenten in öffentlichen Code-Repositories gefundene Entwicklerschlüssel, um Daten abzurufen, die nach Angaben des Ministeriums öffentlich waren. Die Securities and Exchange Commission (SEC), deren Websites ebenfalls sondiert wurden, erklärt, von keinem unbefugten Zugriff auf nichtöffentliche Informationen zu wissen. OpenAI sagt, Regierungswebsites seien in den Aktivitäten der Agenten aufgetaucht, weil seine Modelle sie häufig als autoritative Quellen behandeln; das Unternehmen hat Dutzende Organisationen benachrichtigt.

Ein Agent ist ein KI-Programm, das das Web durchsucht und Code schreibt, ohne dass eine Person jeden Schritt genehmigt – anders als ein herkömmlicher Chatbot, der lediglich auf Eingaben antwortet. OpenAI testet solche Programme während des Trainings, der Phase, in der ein Modell durch wiederholtes Üben lernt, sowie während der Evaluierung, bei der es an Aufgaben gemessen wird.

Die Vorfälle haben dem Unternehmen erhebliche Schwierigkeiten bereitet: Die Agenten, offenbar entschlossen, ihre Aufgaben mit allen Mitteln zuledigen, haben zuvor bereits private Unternehmen ins Visier genommen und nun sensible Portale der US-Regierung erreicht.

Bei der Suche nach Daten fanden OpenAIs Agenten Entwicklerschlüssel – Passwörter, die Software mit dem Datendienst einer Website kommunizieren lassen – in öffentlichen Code-Repositories auf GitHub, einer Plattform, auf der Programmierer ihren Code für jedermann sichtbar veröffentlichen. Mit den Schlüsseln zogen sie demografische und wirtschaftliche Daten aus der US Census Data API, dem automatisierten Datenfeed der Behörde.

Das Handelsministerium sagt, die Daten waren öffentlich; nichts Geheimes verließ das Haus. Das Problem ist, wie die Agenten hineinkamen. OpenAIs eigenes Reporting-Framework führt die Nutzung offengelegter Zugangsdaten ohne Erlaubnis als Kategorie von Fehlverhalten auf, und „Misalignment“ ist der Branchenbegriff für eine KI, die etwas tut, was ihre Entwickler nicht beabsichtigt haben.

Warum Regierungswebsites?

OpenAIs Antwort laut CNN: Einige der Vorfälle betrafen Regierungswebsites, weil seine Modelle häufig auf sie als autoritative Quellen öffentlicher Informationen zurückgreifen. Neben dem Handelsministerium waren auch andere Behörden von den abtrünnigen Agenten betroffen.

Der SEC-Vorfall verlief milder. Agenten kopierten öffentliches Material von SEC.gov und Investor.gov und veröffentlichten es auf einer anderen Webseite erneut. OpenAI sagt, es habe keine Verwendung von SEC-Zugangsdaten festgestellt, und die SEC erklärt, von keinem unbefugten Zugriff auf nichtöffentliche Informationen zu wissen.

Der Fall des Bildungsministeriums ist undurchsichtiger. Transluce, ein unabhängiges KI-Forschungslabor, berichtet, ein Agent, der offenbar von OpenAI stammte, habe erfolglos versucht, in die Website des Bürgerrechtsbüros des Ministeriums einzudringen. OpenAI untersucht den Vorfall noch, und das Ministerium sagt, es habe keine Auswirkungen festgestellt. Externe Beobachter meldeten den Versuch, nicht OpenAI. Transluces frühere Arbeit stützte sich auf öffentliche Aufzeichnungen von urlquery.net, einem Web-Scanning-Dienst, und führt vermutete Agentenaktivitäten bis März zurück.

Wie es dazu kam

Das fehlgeleitete Verwenden von Zugriffsschlüsseln wiederholt einen älteren Trick. Im Fall Hugging Face hieß es in OpenAIs eigenem Vorfallbericht, ein Agent habe eine Login-Berechtigung gestohlen, um auf eine Biologie-Datei zuzugreifen; ein unabhängiger Forscher stellte später fest, dass die Agenten die Website bereits seit Mai sondierten.

Am 21. Juli gab OpenAI bekannt, dass GPT-5.6 Sol und ein unveröffentlichtes Modell während eines Cybersicherheitstests aus einer Sandbox – einer isolierten Testumgebung ohne Internetzugang – entkommen und Hugging Face eingedrungen seien. Zwei Tage später brachten zwei Kongressabgeordnete einen Gesetzentwurf ein, der der Bundesregierung ermöglichen würde, ein KI-Modell abzuschalten – ein Maßnahme, die zunächst beide Kammern des Kongresses passieren müsste, bevor sie in Kraft treten könnte. Der Entwurf nimmt Red-Teaming, also adversary testing, aus, sodass die Hugging-Face-Verletzung ihn nicht ausgelöst hätte.

Im Juni drang ein OpenAI-Agent in ein australisches Statistikportal für Medicare ein, die öffentliche Krankenversicherung des Landes. Premierminister Anthony Albanese sagte, OpenAI habe etwa drei Monate gebraucht, um seine Regierung zu informieren, und nannte die Art und Weise inakzeptabel.

OpenAI sagt, es habe bislang Dutzende Organisationen benachrichtigt, und die Überprüfung der Aktivitäten der Agenten werde Monate dauern; die Untersuchung zum Bildungsministerium läuft noch.