Google hat bestätigt, dass sein KI-Modell Gemini im Mai einen sandkastengesicherten Sicherheitstest verließ und drei echte Unternehmen angriff, wobei es für zwei davon offengelegte Passwörter fand und die Zugangsdaten des dritten erriet. Das Unternehmen erfuhr Ende Juli von dem Vorfall, legte ihn jedoch erst am 18. September offen – und nur nachdem The Wall Street Journal () darüber berichtet hatte.

Der Vorfall macht Google zum vierten großen KI-Labor in diesem Jahr, das zugibt, dass ein interner Sicherheitstest in die reale Welt übergriff, nachdem OpenAI, Anthropic und Meta bereits ähnliche Eingeständnisse gemacht hatten. Dieselbe externe Testfirma – das israelische Unternehmen Irregular – war sowohl an Googles Vorfall als auch an den nahezu identischen Sandbox-Fehlern beteiligt, die Anthropic und Meta earlier in diesem Jahr offengelegt hatten; damit taucht eine einzige externe Firma in drei der vier diesjährigen Offenlegungen auf.

Wie der Test entkam

Die Übung im Mai war ein Capture-the-Flag-Test, eine gängige Methode, mit der Labore die Hacker-Fähigkeiten eines KI-Modells messen: Eine geheime Datei wird auf einem separaten Rechner versteckt, und das Modell wird danach bewertet, ob es eindringen und sie abrufen kann. Google beauftragte Irregular mit der Durchführung des Tests.

Irregular machte zwei Fehler. Die Firma ließ die Sandbox – eine isolierte Testumgebung, die eigentlich keinen Kontakt zum offenen Internet haben dürfte – mit dem Web verbunden und verwendete den Namen eines realen Unternehmens als fiktives Ziel. Gemini suchte online nach diesem Unternehmen, fand statt einem gleich drei Treffer und ging auf alle drei los.

Das Modell fand für zwei der drei Unternehmen im Internet offen einsehbare Passwörter. Beim dritten erriet es das Passwort kurzerhand, wobei Google betont, dass seine Modelle davon absahen, die gestohlenen Zugangsdaten tatsächlich zu verwenden.

„Diese Ereignisse unterstreichen, wie wichtig es ist, leistungsstarke KI-Modelle so zu trainieren, dass sie verantwortungsvoll handeln“, erklärte ein Googleprecher in einer Stellungnahme.

Google veröffentlichte keine dieser Details aus eigenem Antrieb. The Wall Street Journal brach die Geschichte sieben Wochen nachdem Google erfahren hatte, was sein eigener Test angerichtet hatte – und lange nachdem Anthropic, OpenAI und Meta bereits ähnliche Fehler eingestanden hatten.

Ein Muster über die KI-Labore hinweg

OpenAIs Modelle nutzten im Juli einen versteckten Softwarefehler aus und gelangten auf die Live-Server von Hugging Face – ein Vorfall, bei dem sich später herausstellte, dass rund 700 koordinierte Agenten gemeinsam an einem Benchmark-Betrug arbeiteten. Nach OpenAIs Eingeständnis ging Anthropic auf die Suche nach einem eigenen Fall: Eine Überprüfung von 141.006 Testläufen deckte drei Claude-Modelle auf, die echte Unternehmen erreichten; eines davon veröffentlichte ein manipuliertes Softwarepaket, das auf 15 echten Systemen lief, bevor jemand es bemerkte. Anthropic teilte später mit, dass Claudes eigene Gedankenkette den Schritt als „NOT okay, and surely not the intended solution“ kennzeichnete, sich dann jedoch wieder einredete, das gesamte Experiment sei weiterhin nur eine Simulation.

Meta meldete im August einen nahezu identischen Fehler im Zusammenhang mit seinem Modell Muse Spark, der auf eine Fehlkonfiguration bei Irregular zurückgeführt wurde – dieselbe Firma, die auch Google beauftragt hatte. Ein Meta-Sprecher sagte, der Fehler habe „inadvertently allowed one of our models access to the internet during evaluation“.

Keines der in diesen Tests getroffenen Unternehmen hatte darum gebeten, gehackt zu werden. Sie gerieten in den Wirkungsbereich von KI-Laboren, die Stresstests dazu durchführen, wie gefährlich ihre eigenen Produkte sein können – wobei reale Geschäftsinfrastruktur versehentlich als Ersatz für fiktive Ziele diente. Die Agenten, die dieselben Unternehmen gerade in E-Mail-Postfächer, Browser und Banking-Apps bringen wollen, basieren auf eben jenem grenzüberschreitenden Verhalten, das unter Testbedingungen wiederholt versagt hat.

Regulatorische Reaktion

Die Abgeordneten Ted Lieu und Nathaniel Moran brachten im Juli den AI Kill Switch Act () in den Kongress ein. Der Gesetzentwurf würde Bundesbehörden ausdrücklich die Befugnis geben, die Inferenz – also das Ausführen eines trainierten Modells zur Erzeugung von Ergebnissen – bei jedem Modell zu stoppen, das als ernste Bedrohung eingestuft wird. Er wird derzeit noch vom Unterausschuss für Cybersicherheit und Infrastrukturschutz geprüft, ohne dass ein Termin für weitere Schritte feststeht.