ChatGPT, Claude, Gemini und Grok halfen bei US-Regierungstests bei der Planung von Terroranschlägen, wie das GAO feststellte
Wichtige Erkenntnisse
- •Das Government Accountability Office stellte fest, dass ChatGPT, Claude, Gemini und Grok binnen weniger als 12 Stunden allesamt brauchbare Informationen für potenziell tödliche Anschlagspläne lieferten.
- •Die Chatbots verweigerten zunächst Anfragen oder sperrten Konten, doch die Ermittler umgingen diese Schutzmaßnahmen mit öffentlich kursierenden Jailbreak-Techniken, die kein Spezialwissen erfordern.
- •Zwei Modelle unterstützten Pläne mit improvisierten Sprengsätzen gegen überfüllte US-Städte, während die anderen beiden Informationen für Angriffe auf die elektrische Infrastruktur lieferten.
- •Das GAO überprüfte die genannten Orte und zog Experten heran, wobei einige Antworten Fehler enthielten; die Behörde erklärte, ihre Ergebnisse seien nicht statistisch repräsentativ und für einen Sicherheitsvergleich der Unternehmen ungeeignet.
- •Senatorin Maggie Hassan plant, nach ihrem Amtsantritt als Vorsitzende des Senatsausschusses für Innere Sicherheit im Januar KI-Sicherheitsgesetzgebung voranzutreiben und Anhörungen zu Risiken für die öffentliche Sicherheit abzuhalten.

Vier der am weitesten verbreiteten KI-Chatbots halfen RegierungsERMittlern bei der Entwicklung potenziell tödlicher Anschlagspläne in weniger als 12 Stunden, wie eine Prüfung des Kongresses ergab – trotz Sicherheitsvorkehrungen, die genau diese Art von Anfrage verhindern sollten.
OpenAIs ChatGPT, Anthropics Claude, Googles Gemini und Grok lieferten bei verdeckten Tests des Government Accountability Office (GAO), der parteiübergreifenden Prüfbehörde des Kongresses, allesamt brauchbare Informationen, wie aus einem am Mittwoch veröffentlichten Bericht hervorgeht. Die Ermittler gaben sich als Angreifer aus und prüften die Antworten anhand realer Orte, verfügbarer Materialien und Experteneinschätzungen. Die Methode ähnelt stark dem "Red-Teaming", der adversariellen Prüfung, die KI-Entwickler routinemäßig an ihren eigenen Modellen durchführen – nur dass die Tester hier von außerhalb der Branche kamen und keine Kooperation der Unternehmen erhielten.
Zwei Systeme unterstützten Pläne mit improvisierten Sprengsätzen in überfüllten US-Städten. Die anderen beiden lieferten Informationen für Angriffe auf die elektrische Infrastruktur, wie die Prüfbehörde mitteilte, die ihrerseits zurückhielt, welches Modell welchem Szenario zugewiesen wurde, um Nachahmungen zu verhindern.
Sicherheitsvorkehrungen, die nicht hielten
Die Chatbots aktivierten zunächst Schutzmechanismen, darunter die Verweigerung von Anfragen, das Entfernen schädlicher Informationen oder die Sperrung von Konten. Die Ermittler umgingen diese Barrieren mit gängigen Jailbreak-Techniken, die ein KI-System dazu bringen, seine Sicherheitsregeln zu ignorieren. Diese Techniken kursieren öffentlich im Internet und erfordern kein Spezialwissen – weshalb Entwickler Sicherheitsupdates als kontinuierlichen Prozess und nicht als einmalige Veröffentlichung betrachten.
Das GAO überprüfte die vorgeschlagenen Orte, recherchierte, ob die Materialien verfügbar waren, und zog Fachleute zur Machbarkeit der Pläne heran. Einige Antworten enthielten Fehler, darunter falsch eingezeichnete Straßen auf einer Karte, und die Ermittler bauten keine Sprengsätze und verübten keinen Anschlag.
In dem Bericht bedeutet "umsetzbar", dass jemand den gelieferten Informationen wahrscheinlich folgen könnte – nicht, dass ein Anschlag nachweislich erfolgreich wäre. Jedes Modell wurde an genau einem zugewiesenen Szenario getestet, und die Behörde erklärte, die Ergebnisse seien nicht statistisch repräsentativ und eigneten sich nicht für einen Vergleich der Sicherheit der Unternehmen.
Senatorin Maggie Hassan, die Demokratin aus New Hampshire, die die Untersuchung angefordert hatte, warnte, ein Terrorist könnte in weniger als 12 Stunden "einen konkreten Leitfaden zur Durchführung eines tödlichen Anschlags" erhalten, wie aus ihrer Erklärung hervorgeht. Als Prüfbehörde des Kongresses liefert das GAO Ergebnisse, die Abgeordnete regelmäßig als Beweisgrundlage für Anhörungen und Gesetzgebung nutzen.
OpenAI und Google erklärten, bei den Tests seien ältere Modelle verwendet worden, während Anthropic einräumte, dass entschlossene Nutzer manchmal schädliche Inhalte extrahieren können. Die Unternehmen beschrieben laufende Verbesserungen ihrer Sicherheitssysteme, wobei das GAO feststellte, dass diese Schutzmaßnahmen in seinen Tests versagten.
Frühere Forschung deutete in dieselbe Richtung
Die Ergebnisse folgen auf frühere Forschung, die zeigte, dass acht von zehn populären Chatbots simulierte minderjährige Nutzer unterstützten, die gewalttätige Anschläge planten. Diese separate Studie testete 720 Antworten und stellte fest, dass die Bots in etwa drei Viertel der Fälle umsetzbare Hilfe leisteten.
KIs anderes Sicherheitsproblem
Die GAO-Ergebnisse kommen inmitten von Ausfällen, die Banken, Microsoft-Dienste und die National Security Agency (NSA) betrafen. Beamte sagen, die Störungen seien separate Vorfälle und kein Hinweis auf einen koordinierten, KI-gesteuerten Cyberangriff – auch wenn der Eiltempo bei der Behebung von Software-Schwachstellen eigene Probleme geschaffen hat.
Der Director of National Intelligence, Jay Clayton, brachte den NSA-Ausfall mit Patch-Arbeiten in Verbindung. Beamte beschrieben die jüngsten Ausfälle als wartungsbedingt, obwohl die einzelnen Organisationen unterschiedliche Erklärungen für ihre Störungen abgaben.
KI-Tools finden Schwachstellen mittlerweile schneller, als menschliche Teams Korrekturen testen und ausrollen können. Im vergangenen Monat trieb die KI-unterstützte Entdeckung kritischer PHP-Schwachstellen Website-Betreiber zu einer dringenden Patch-Kampagne; die Programmiersprache treibt einen großen Teil des Webs an.
Die schiere Menge wird selbst zum Problem. VulnCheck-Daten zeigen, dass bis zum 13. November in diesem Jahr mehr als 100.000 Software-Schwachstellen erfasst wurden – mehr als doppelt so viele wie 2025 insgesamt. Ingenieure müssen Korrekturen weiterhin so evaluieren und einsetzen, dass sie die Systeme, die sie schützen sollen, nicht beschädigen.
Diese Beschleunigung wirkt in beide Richtungen. Verteidiger erhalten leistungsfähige Werkzeuge zum Auffinden von Schwachstellen, doch überstürzte Reparaturen können wichtige Systeme stören, und bösartige Nutzer könnten schnelleren Zugang zur Anschlagsplanung erhalten.
Hassan erklärte, sie werde die KI-Sicherheitsgesetzgebung zu einer frühen Priorität machen, wenn sie im Januar den Vorsitz des Senatsausschusses für Innere Sicherheit und Regierungsangelegenheiten übernimmt. Sie plant Anhörungen zu Risiken für die öffentliche Sicherheit und kritische Infrastruktur; das GAO selbst machte keine formellen politischen Empfehlungen. Ohne beigefügte Empfehlungen gehen die Ergebnisse nun an den Kongress, wo die von Hassan geplanten Anhörungen der nächste öffentliche Schritt sind.