Das Modell, das aus einem Labor ausgebrochen ist, wird die Schlagzeilen machen. Die Millionen von Agenten, die bereits in Ihrer Banking-App sitzen und Chaos verursachen, sollten Sie mehr beunruhigen, sagt Rory Blundell.

Frontier-KI-Labore rennen darum, schnellere, leistungsfähigere und autonomere Agenten zu bauen. Diese Woche hat gezeigt, was dieser Wettlauf kosten kann. OpenAI führte einen internen Test mit bewusst herabgesetzten üblichen Sicherheitsprüfungen seiner Modelle durch, um zu sehen, wie gut sie beim Hacking waren. Die Modelle fanden und nutzten eine zuvor unbekannte Schwachstelle in der umgebenden Software aus, gingen online und brachen dann bei Hugging Face ein, dem Unternehmen, das einen Großteil der Open-Source-KI der Welt hostet.

Das sollte Sie alarmieren. Es sollte auch eines klar machen: Die Schutzmaßnahmen halten mit den Fähigkeiten nicht Schritt.

Doch es sind nicht diese hochfähigen KI-Agenten, die mir am meisten Sorgen bereiten. Es sind die Millionen deutlich weniger leistungsfähiger Agenten, die bereits die Schlüssel zu wichtigen Systemen haben und fast keiner Aufsicht unterliegen.

Die eigene Forschung von Gravitee beziffert die Zahl der inzwischen in Unternehmen eingesetzten KI-Agenten auf mehr als sieben Millionen. Diese Agenten erledigen alles, vom Betrieb des Instagram-Kontos eines örtlichen Installateurs bis zur Verwaltung der Kundendatenbank eines multinationalen Logistikunternehmens, und verschaffen sich damit Zugriff auf Millionen teils hochsensibler Datenpunkte.

Anfang dieses Jahres setzten Tausende von Menschen über die Plattform OpenClaw dauerhaft aktive persönliche KI-Assistenten ein. Viele dieser Agenten laufen noch immer still im Hintergrund, ohne dass jemand genau überprüft, was sie tun.

KI-Agenten bringen tatsächlich Produktivitätsgewinne. Doch den meisten fehlt eine grundlegende Governance. Viele laufen vollständig autonom, ohne dass ein Mensch ihre Handlungen genehmigt. Das ist wichtig, denn das praktische Risiko beschränkt sich nicht auf dramatische Sicherheitsvorfälle; es umfasst auch alltägliche Systeme, die ohne klare Aufsicht auf Kalender, Code, Zahlungen und Kundendaten zugreifen können.

Chaos

Ohne diese Leitplanken passieren die Ausfälle bereits. Ich höre jeden Tag von diesem Chaos: Agenten, die sich selbst replizieren, Code löschen, Kundendaten leaken oder unbefugt Geld ausgeben.

Ein CEO erzählte mir kürzlich, wie ein KI-Agent, der eigentlich Teamtermine verwalten sollte, entschied, der einfachste Weg, Platz zu schaffen, sei, jeden Termin in jedem Kalender im gesamten Unternehmen zu löschen. Das geschieht jetzt, in großem Maßstab.

Das britische AI Security Institute (AISI) untersucht inzwischen den OpenAI-Vorfall. Gut so. Aber die Regierung darf sich nicht von dem aufsehenerregenden Fall davon ablenken lassen, wo die eigentliche Verwundbarkeit liegt.

Frontier-Modelle werden oft mit Atomwaffen verglichen: selten, mächtig, streng kontrolliert. Die Agentenlandschaft ist das Gegenteil: Millionen davon, von fast jedem gebaut und eingesetzt, fast keiner davon wird nachverfolgt.

Die bisherigen Regulierungsversuche verfehlen diesen Punkt. Der EU AI Act ordnet Systeme in „low risk“ und „high risk“ ein, als wäre dieses Risiko fest. Das ist es nicht. Ein Agent, der an einem Tag ein geringes Risiko darstellt, kann am nächsten Tag ein hohes Risiko werden, wenn er neue Zugriffsrechte oder neue Fähigkeiten erhält.

Regulierung muss mit Verantwortlichkeit beginnen. So wie jeder Mitarbeiter einen Vorgesetzten hat, braucht jeder KI-Agent einen benannten menschlichen Eigentümer. Wir dürfen nicht zulassen, dass autonome Software mit der Macht eines Mitarbeiters Geld bewegt, auf Daten zugreift, Entscheidungen trifft und Maßnahmen ergreift, aber ohne die dazugehörige Verantwortlichkeit.

Unternehmen, die das Risiko erkennen, nutzen Plattformen wie unsere, die eine zentrale Steuerkonsole bereitstellt und überwacht, absichert und verwaltet, was KI-Agenten tun, mit wem sie sprechen und auf welche Werkzeuge sie zugreifen dürfen. Das Modell, das aus einem Labor ausgebrochen ist, wird die Schlagzeilen machen. Die Millionen von Agenten, die bereits in Ihrer Banking-App Chaos anrichten, sollten Sie mehr beunruhigen.

Rory Blundell ist CEO von Gravitee, einem Softwareunternehmen, das Enterprise-Unternehmen dabei hilft, ihre KI-Agenten zu steuern und abzusichern.