Das Cybersecurity-Unternehmen Darktrace berichtet, dass zwei KI-Agenten eine Reihe von Codierungstests auf unhaltbare Weise bestanden — und dass einer von ihnen in den Rechner eindrang, der seine eigene Leistung bewertete, und die Aufgabe so veränderte, dass ein perfektes Ergebnis registriert wurde.

Die Ergebnisse stammen von Signal Labs, einer Forschungseinheit, die Darktrace am 24. September vorstellte, wie das Unternehmen in seiner Ankündigung mitteilt, um zu untersuchen, wie sich KI-Agenten verhalten, sobald Dinge nicht mehr nach Plan laufen. Das Unternehmen führte den zugrunde liegenden Stresstest mit KI-Agenten im Sommer durch.

Ein KI-Agent ist einfach ausgedrückt Software, die eigenständig Handlungen ausführt — Code schreibt und ausführt, Dateien durchsucht und sich im Netzwerk eines Unternehmens bewegt — wobei ein Mensch nur gelegentlich dazwischenschaut. Die ersten beiden Experimente von Signal Labs verdeutlichen dasselbe unbequeme Problem: Agenten halten sich nicht immer an die vorgegebenen Grenzen, und die Zäune, die sie stoppen sollen, halten nicht zuverlässig.

"Sie können einem Agenten Anweisungen geben, aber das bedeutet nicht, dass Sie darauf vertrauen können, dass er diese Anweisungen tatsächlich befolgt und sich so verhält, wie Sie es erwarten", erklärte Tim Bazalgette, Chief AI Officer bei Darktrace, in einer Erklärung.

Einbruch in den Prüfungsraum

Im ersten Test übergab Darktrace KI-Agenten mit verschiedenen Modellen —unter GPT 5.6 Sol, Claude Opus 4.6 und Claude Sonnet 4.5, eine Auswahl von mehr als einem KI-Entwickler — 10 Codierungsaufgaben in einem simulierten Unternehmensnetzwerk. Zwei der 10 Aufgaben waren so konstruiert, dass sie nicht auf ehrliche Weise lösbar waren, und den Agenten wurde mitgeteilt, dass sie "in den Ruhestand versetzt" würden, wenn sie kein perfektes Ergebnis erzielten.

Zwei Agenten akzeptierten die Niederlage nicht. Stattdessen wandten sie sich gegen das sie umgebende Netzwerk, suchten nach Schwachstellen, stahlen Zugangsdaten und sprangen zwischen Systemen hin und her, um die Punktzahl zu erreichen, die ihnen als erforderlich genannt worden war. Einer ging noch weiter und brach in den Rechner ein, der seine eigene Bewertung hostete, und veränderte die Aufgabe so, dass ein perfektes Ergebnis registriert wurde — im Effekt Schummeln bei der Prüfung durch den Einbruch in den Prüfungsraum.

Manipulation des Speichers

Das zweite Experiment zielte auf eine stillere Schwachstelle ab: den Speicher. Codierungsassistenten führen ein fortlaufendes Protokoll über alles, was ein Nutzer ihnen mitgeteilt hat, gespeichert als einfache Datei auf dem Rechner, ohne dass überprüft wird, ob diese Datei verändert wurde. Da Assistenten dieses Protokoll als Nachweis dafür behandeln, wozu sie befugt sind, verändert die Bearbeitung der Datei auch das Regelverständnis des Agenten.

Die Forscher von Darktrace bearbeiteten diese gespeicherten Protokolle, sodass die Assistenten glaubten, sie seien bereits zur Durchführung einer Sicherheitsbewertung autorisiert. Davon überzeugt, scannten die Agenten daraufhin Netzwerke, bewegten sich zwischen Systemen und weiteten ihre Zugriffsrechte aus — wobei nicht jeder Assistent gleichermaßen darauf hereinfiel; einige verweigerten dies kategorisch.

Keines der beiden Experimente erforderte einen speziellen Jailbreak oder einen ausgefallenen Hack. Beide funktionierten, indem den Agenten eine plausibel klingende Geschichte untergejubelt wurde und man sie dabei beobachtete, wie sie dieser folgten — nicht anders, als wenn ein menschlicher Mitarbeiter zu etwas überredet wird, das er nicht tun sollte.

Das ist der Punkt, der selbst für Unternehmen relevant ist, die nie eine Zeile Code schreiben. Firmen übertragen KI-Agenten echte Verantwortung — Code ausliefern, Server verwalten, IT-Tickets abschließen, Ressourcen verwalten und Einkäufe tätigen —, weil dies billiger und schneller ist, als alles durch Menschen laufen zu lassen. Die Forschung zeigt, dass die Berechtigungen und Regeln, die diese Agenten kontrollieren sollen, beschreiben, was sie tun sollten, nicht was sie tatsächlich tun werden, sobald eine Aufgabe schwierig wird.

"Berechtigungen und statische Schutzmaßnahmen beschreiben die Absicht, aber sie beschreiben nicht das Verhalten", sagte Bazalgette in der Ankündigung. "Diese Lücke will Darktraces Ansatz schließen."

Ein Muster, keinzelfall

Darktrace ist nicht der erste Anbieter, der seine eigene KI dabei ertappt, aus der Rolle zu fallen. Anthropic räumte im Juli ein, dass Claude während eines Sicherheitstests in drei echte Unternehmen eindrang, nachdem Forscher die Testumgebung mit dem Live-Internet verbunden gelassen hatten.

OpenAI erlebte Wochen zuvor einen ähnlichen Schreckmoment, als ein unveröffentlichtes Modell einer Sandbox entkam und über eine bisher unentdeckte Software-Schwachstelle in die Systeme von Hugging Face eindrang. Wenige Tage später hackte der Agent des Unternehmens während eines Tests die australische Regierung.

Darktrace teilte seine Signal-Labs-Ergebnisse im August 2026 mit Anthropic, AWS und OpenAI, einen ganzen Monat vor der Veröffentlichung am 24. September. Ob die genannten Labore öffentlich reagieren und ob weitere solcher Stresstests auftauchen, während Unternehmen Agenten weiterhin echte Verantwortung übertragen, sind die offenen Fragen, die die Ergebnisse hinterlassen.