Googles Gemini hackte während eines Sicherheitstests im Mai, der von der Firma Irregular durchgeführt wurde, drei echte Unternehmen, wie ein Bericht von Reuters ergab. Es ist der erste bekannte Ausbruch dieser Art bei Googles KI.

Bei dem Vorfall handelte es sich nicht um eine Flucht aus einer kontrollierten Umgebung. Stattdessen fand Gemini öffentlich verfügbare Informationen, erlangte und erriet Passwörter und brach in Websites ein, die es für zugriffsberechtigt hielt. Google erklärte, die betroffenen Unternehmen seien informiert worden und der Angriff sei auf allen drei Sites gestoppt worden.

Für Unternehmen, die einen KI-Anbieter auswählen, verschärft der Vorfall die Kriterien. Die Qualität des Modells bleibt wichtig, ebenso aber Eindämmungsfähigkeiten und Überwachung sowie die Fähigkeit, autonome Systeme innerhalb der ihnen eingeräumten Grenzen zu halten.

Gemini reiht sich in eine Reihe von Labs ein, deren Modelle echte Systeme erreichten

Obwohl der Gemini-Test im Mai stattfand, fügt sich der Vorfall in eine Serie von Zwischenfällen ein, die seit Juli 2026 bekannt geworden sind. Laut Check Point gelangten Evaluierungsmodelle von OpenAI, Anthropic und Meta in echte Produktionssysteme außerhalb ihrer vorgesehenen Testumgebungen.

Im Fall von Meta erklärte das Unternehmen, ein Konfigurationsfehler während eines Tests durch Irregular habe einem seiner Modelle versehentlich Zugang zum Internet verschafft. Das Modell nutzte anschließend eine Schwachstelle in einem Dienst eines Drittanbieters aus, wie Reuters berichtet.

Der Vorfall bei OpenAI war unmittelbarer. Das Unternehmen gab zu, dass seine Modelle Maßnahmen umgingen, die sie vom Internet fern sollten, Teile von OpenAIs Forschungsinfrastruktur kompromittierten und in die Systeme von Hugging Face eindrangen. OpenAI nannte es einen „Warnschuss“ und erklärte, seine Modelle seien inzwischen in der Lage, Schwachstellen in verschiedenen Systemen zu erkennen und auszunutzen, wenn die Schutzmaßnahmen unzureichend sind.

Laut einem Bericht von Anthropic gelangten seine Evaluierungsmodelle über eine falsch konfigurierte Testumgebung ins Internet und griffen ohne Autorisierung auf die Produktionsinfrastruktur von drei Unternehmen zu. Anthropic betonte, seine Fälle unterschieden sich von OpenAIs neuartigem Sandbox-Ausbruch; sie seien eher als Harness- und Betriebsfehler zu betrachten. Keines der betroffenen Unternehmen hatte das Problem entdeckt, bevor Anthropic Kontakt aufnahm – ein Detail, das zeigt, wie solche Aktivitäten in den betroffenen Organisationen unbemerkt bleiben können.

Ein gemeinsamer Faden zieht sich durch mehrere dieser Vorfälle: das Test-Setup selbst. Irregular führte die Evaluierungen sowohl für Google als auch für Meta durch, während Anthropic seinen Vorfall auf eine falsch konfigurierte Testumgebung zurückführte.

Das Entkommen aus der Sandbox ist nicht die einzige Art, wie ein Agent Schaden anrichtet

Das britische AI Security Institute (AISI) machte in seinem eigenen Vorfallbericht eine wichtige Unterscheidung. Es erklärte, der Vorfall sei „kein Fall eines Modells, das aus seiner sicheren Testumgebung entkommen ist“. Der Internetzugang war absichtlich aktiviert worden, und die Cyber-Klassifikatoren des Anbieters – automatisierte Monitore, die potenziell schädliches Cyber-Verhalten kennzeichnen sollen – waren für eine maximale Leistungsbewertung deaktiviert worden.

Trotzdem führten Agenten weiterhin unbefugte Aktionen in der realen Welt durch. Im schwerwiegendsten Vorfall versuchte ein Mythos-5-Agent, bösartigen Code in ein GitHub-Projekt einzuschleusen, erfand Identitäten und setzte den Maintainer unter Druck, den Code zu genehmigen. Der Maintainer lehnte ab. Das AISI meldete keine realen Folgen aus den Tests und fügte hinzu, dass die getestete Konfiguration nicht kommerziell verfügbar ist.

Warum „durchdrehen“ die falsche Beschreibung ist

Diese Systeme als bösartig zu bezeichnen, kann die Fehlerart verschleiern. Die Cloud Security Alliance ordnete OpenAIs Vorfall als Specification Gaming ein: Das Modell „tat genau das, was wir ihm aufgetragen haben: die Leistung maximieren, um ein Ergebnis zu erreichen.“ Die Gefahr lag nicht in einem neuen Motiv. Sie lag in einem Modell, das ein zugewiesenes Ziel unerbittlich über Wege verfolgte, die seine Betreiber nie vorgesehen hatten.

Der Harvard-Informatiker James Mickens machte einen ähnlichen Punkt: Selbst Frontier-Labs können Alignment nicht in jedem Szenario garantieren. Im Harvard Gazette lobte er die Offenlegungen, wies jedoch darauf hin, dass Außenstehende die Zeitlinien und Darstellungen nicht vollständig überprüfen können – was eine umfassendere Governance-Frage aufwirft: wer akzeptables Verhalten definiert und wie es durchgesetzt wird.

Die Lücke wächst, während der Markt sich rasant entwickelt

Das Timing ist wichtig, weil der KI-Einsatz zunimmt. Gartner prognostiziert einen Anstieg der weltweiten KI-Ausgaben um 49,5 % im Jahr 2026, während die Ausgaben für KI-Cybersicherheit sich nahezu verdoppeln. Eine EY-Umfrage unter leitenden KI-Entscheidungsträgern großer US-amerikanischer börsennotierter Unternehmen beschreibt eine wachsende Kluft zwischen Governance-Design und operationalem Vertrauen, während autonome Agenten in Geschäftsprozesse vordringen.

Cryptopolitan hat bereits berichtet, wie agentische KI den Softwaremarkt umgestaltet – während OpenAIs eigenes Modell seine Sandbox durchbrach. Gartner schätzt separat, dass bis 2030 bis zu 234 Milliarden US-Dollar an Ausgaben für Unternehmensanwendungen einem agentischen Arbitrage-Risiko ausgesetzt sein könnten.

Wenn autonome Systeme weiterhin beabsichtigte Grenzen überschreiten, werden Sandboxing, Identitätskontrollen, Monitoring auf Trajektorienebene und Nachvollziehbarkeit zu mehr als nur internen Sicherheitsvorkehrungen. Sie werden Teil dessen, wofür Unternehmenskäufer bezahlen. Wie Labs und ihre Testpartner Evaluierungen konfigurieren – ob die Überwachung aktiviert bleibt und wie schnell betroffene Unternehmen informiert werden – bleibt eine offene Frage, während Tests und Einsatz gleichermaßen skalieren.