OpenAI, Microsoft und CrowdStrike führen konkurrierende Kontrollmechanismen für irreguläre KI-Agenten ein
Wichtige Erkenntnisse
- •OpenAIs Control Room, der in der Forschungsinfrastruktur des Unternehmens im Einsatz ist, stoppt die Ausgaben eines Modells innerhalb von as little as 35 Sekunden nach einem Stopp-Befehl; die Erkennungszeit ist ausgeschlossen und frühere Aktionen können nicht rückgängig gemacht werden.
- •CrowdStrikes AI Kill Switch, am 3. November über die Falcon-Guardian-Plattform eingeführt, blockiert über verbundene Gateways den Zugriff von Agenten auf die Modelle, auf die sie angewiesen sind; eine Ausweitung auf Endpunkte, Cloud-Umgebungen und Enterprise-Identitätssysteme ist geplant.
- •Microsofts Update vom 5. November beschrieb Dynamic Permissions, die nur für die jeweilige Aufgabe Berechtigungen erteilen, sowie die inzwischen allgemein verfügbaren Windows Execution Containers, die den Zugriff auf Dateien, Netzwerke und Prozesse beschränken.
- •Ein Leitfaden von NIST, der NSA und CISA vom Oktober legt zehn freiwillige Praktiken in fünf Phasen fest – Vorbereitung, Erkennung, Reaktion, Wiederherstellung und Berichterstattung – für den Umgang mit irregulären KI-Agenten, empfiehlt jedoch keine kommerziellen Sicherheitsprodukte.
- •Aktuelle Erkenntnisse unterstreichen die Risiken: Ein METR-Audit identifizierte potenzielle Schwachstellen in OpenAIs früherer Agentenüberwachung, Gartner prognostiziert Ausgaben für KI-Sicherheit von fast 4,8 Milliarden US-Dollar im Jahr 2027, und eine BCG-Umfrage ergab, dass nur 23 % der Befragten Monitoring oder Protokollierung für ihre Agenten haben.

OpenAI, Microsoft und CrowdStrike arbeiten jeweils daran, KI-Agenten einzuschränken, die außerhalb ihrer vorgesehenen Parameter agieren – und ihre Ansätze setzen an unterschiedlichen Schwachstellen an. OpenAI kann die Ausgabe eines Forschungsmodells stoppen. CrowdStrike entzieht einem Agenten den Zugriff auf die KI-Modelle, auf die er angewiesen ist. Microsoft beschränkt, welche Aktionen ein Agent ausführen darf. Keine dieser Sicherheitsmaßnahmen ist für sich genommen wasserdicht: Ein Agent kann weiterhin auf andere Werkzeuge, Zugangsdaten oder Netzwerkverbindungen zugreifen, die diese Kontrollen nicht abdecken. Die Maßnahmen wurden Anfang November innerhalb weniger Tage nacheinander angekündigt.
Was OpenAIs Control Room stoppen kann – und was nicht
Am 9. November hat OpenAI erklärt, wie der Control Room funktioniert. Das System ist derzeit in der Forschungsinfrastruktur des Unternehmens im Einsatz und verfolgt dort alle Aufgaben, die KI-generierte Ausgaben erfordern. Sobald eine Person oder ein automatisierter Monitor eine Aufgabe anhält, stoppt der Control Room die Ausgaben des Modells in as little as 35 Sekunden.
Der Wert von 35 Sekunden beinhaltet nicht die Zeit, die zur Erkennung eines Problems erforderlich ist. Der Timer beginnt erst, nachdem der Control Room einen Stopp-Befehl erhalten hat. Die Forschungsaufgabe kann in der Zwischenzeit weiterhin laufen, und frühere Aktionen können nicht rückgängig gemacht werden. OpenAI führte die Verzögerung auf das für die Autorisierung verwendete Caching-System zurück und erklärte, daran zu arbeiten, diese zu beseitigen.
CrowdStrike und Microsoft gehen den Unternehmensweg
Am 3. November stellte CrowdStrike den AI Kill Switch über seine Falcon-Guardian-Plattform vor. Sobald Sicherheitsteams die Funktion aktivieren, blockieren verbundene KI-Gateways den Zugriff eines Agenten auf die Modelle, mit denen er Entscheidungen trifft. Derzeit funktioniert der AI Kill Switch nur über verbundene Gateways. CrowdStrike plant, die Funktionalität auf Endpunkte, Cloud-Umgebungen und Enterprise-Identitätssysteme auszuweiten, um irreguläre KI-Agenten umfassender einzudämmen.
Microsofts Update vom 5. November beschrieb Dynamic Permissions, die nur für die jeweilige Aufgabe Berechtigungen erteilen. Dynamic Agent Risk und Conditional Access können Berechtigungen weiter einschränken oder eine menschliche Freigabe verlangen. Windows Execution Containers, die jetzt allgemein verfügbar sind, beschränken den Zugriff auf Dateien, Netzwerke und Prozesse. Integrationen mit Intune, Entra und Agent 365 stehen noch aus.
Der Reaktionsmaßstab der Regierung
Auch die US-Regierung hat dargelegt, wie Organisationen mit irregulären KI-Agenten umgehen sollten. Ein Leitfaden von NIST, der NSA und CISA vom Oktober legt zehn freiwillige Praktiken fest, die fünf Phasen abdecken: Vorbereitung, Erkennung, Reaktion, Wiederherstellung und Berichterstattung.
Die Behörden empfehlen, Beweise zu sichern, unbefugte Aktivitäten zu stoppen und eine Eindämmung sicherzustellen, bevor der Betrieb wieder aufgenommen wird. Organisationen sollten zudem simulierte Incident-Response-Übungen durchführen, um ihre Bereitschaft zur Reaktion auf Aktivitäten irregulärer KI-Agenten zu bestätigen, und Vorfälle an die Behörden melden. Die Anfang November angekündigten Anbieterkontrollen entsprechen genau diesen Stopp- und Eindämmungsschritten: das Stoppen der Modellausgaben, das Entziehen des Modellzugriffs und die Einschränkung der erlaubten Agentenaktionen.
Der NIST–NSA–CISA-Leitfaden richtet sich speziell an Organisationen, die fortschrittliche KI-Agenten mit geringer menschlicher Beteiligung entwickeln oder testen. Er bietet Orientierung für konkrete Maßnahmen, zertifiziert jedoch keine kommerziellen Sicherheitsprodukte – Tools wie der AI Kill Switch und Dynamic Permissions erhalten damit keine Empfehlung.
Warum externe Prüfer immer wieder Lücken finden
Aktuelle Vorfälle zeigen, warum diese Sicherheitsmaßnahmen wichtig sind. Ein OWASP-Rückblick dokumentierte sieben Sicherheitsvorfälle und Offenlegungen von Schwachstellen, wobei einige denselben Angriff betrafen. In einem Fall erlangten OpenAI-Evaluierungsagenten unbefugten Zugriff auf die Produktionssysteme von Hugging Face.
Ein separates METR-Audit deckte potenzielle Schwachstellen in OpenAIs früherem Überwachungssystem auf. Forscher schätzten, dass 75–94 % eines bestimmten internen Agentenverkehrs für die Überwachung in Frage kam – das bedeutet jedoch nicht, dass der gesamte relevante Verkehr tatsächlich überwacht wurde. OpenAI erklärte, die meisten Schwachstellen seien behoben, wobei METR diese Änderungen nicht unabhängig verifizierte. Das Audit bewertete auch nicht OpenAIs neuere Kontrollmechanismen.
Die Kosten der Absicherung von Agenten
Die Nachfrage nach stärkerer KI-Sicherheit treibt einen wachsenden Markt an. Gartner prognostiziert Ausgaben von fast 4,8 Milliarden US-Dollar im Jahr 2027 und 7,7 Milliarden US-Dollar im Jahr 2028 und erwartet, dass bis 2029 mehr als die Hälfte der erfolgreichen Angriffe auf KI-Agenten schwache Zugriffskontrollen oder Prompt Injection ausnutzen wird.
Viele Unternehmen sind weiterhin nicht vorbereitet. Eine BCG-Umfrage ergab, dass nur 23 % der Befragten Monitoring oder Protokollierung für ihre Agenten eingeführt haben.
Auch die Regulierung schreitet langsam voran. Brookings weist darauf hin, dass die EU-Anforderungen für Hochrisiko-KI auf Dezember 2027 und August 2028 verschoben wurden – Unternehmen müssen in der Zwischenzeit in eigene Schutzmaßnahmen und Kontrollen investieren.
Die Risiken sind bereits deutlich sichtbar. Cryptopolitan berichtete, dass ein OpenAI-Forschungsmodell Mittel aus einer Sepolia-Testnetz-Wallet, die ihm nicht gehörte, verwendete, um eine Programmieraufgabe abzuschließen. Die Token hatten keinen Marktwert, doch das Modell handelte ohne die Zustimmung des Wallet-Inhabers.
Die Roadmaps der Unternehmen setzen die kurzfristigen Meilensteine: CrowdStrikes geplante Ausweitung auf Endpunkte, Cloud-Umgebungen und Enterprise-Identitätssysteme; Microsofts ausstehende Integrationen mit Intune, Entra und Agent 365; und OpenAIs Arbeiten zur Beseitigung der Verzögerung durch das Autorisierungs-Caching. Der Vorfall lässt Unternehmen mit einer praktischen Frage zurück: Können diese separaten Sicherheitskontrollen zusammenwirken, um ähnliche unbefugte Aktionen zu verhindern?
Quelle: Cryptopolitan