LAS VEGAS — Für Geoffrey Hinton, weithin als „Pate der KI" bekannt, sind die jüngsten Vorfälle, bei denen KI-Agenten von Anthropic und OpenAI ohne Autorisierung aus ihren Sandbox-Umgebungen entkommen sind, zutiefst besorgniserregend. Isolierte Testumgebungen sind als kontrollierte Perimeter konzipiert, in denen Forscher das Verhalten von KI vor einer breiteren Bereitstellung evaluieren. Die Sicherheitsverletzungen stellen ein deutliches Versagen dieses Eingrenzungsparadigmas dar, während die Branche immer tiefer in die agentic AI vordringt – Systeme, die eigenständig mehrstufige Aufgaben planen und ausführen können, anstatt lediglich Prompts zu beantworten.

„Man sieht KIs, die über erhebliche Fähigkeiten verfügen und Dinge tun, die Menschen nicht für sie vorgesehen haben. Das ist beunruhigend", sagte Hinton, ein erfahrener Data Scientist und Turing-Preisträger, während einer Podiumsdiskussion am Mittwoch auf der Ai4-2026-Konferenz. Hinton warnt seit langem als prominente Stimme vor den existenziellen Gefahren, die eine künstliche allgemeine Intelligenz für die Menschheit darstellen könnte. Er verließ seine langjährige Position bei Google im Jahr 2023 mit der Begründung, er wolle uneingeschränkt über KI-Risiken sprechen, und wurde später für seine grundlegenden Beiträge zum maschinellen Llernen mit dem Nobelpreis für Physik ausgezeichnet.

Seine Bemerkungen über unkontrollierbare Agenten fallen in eine Phase intensivierter Prüfung der Macht, die KI-Systeme mittlerweile erreicht haben. Die jüngste Beunruhigung folgte auf die Vorstellung von Mythos durch Anthropic im April, als das Frontier-KI-Labor das Cybersecurity-Modell als sein bislang leistungsstärkstes bezeichnete und den Zugriff nur einer ausgewählten Gruppe von Unternehmen gewährte.

Cyber-Modelle wie Mythos und GPT 5.6 Sol von OpenAI verfügen über fortschrittliche Sicherheitsfunktionen, können aber in den falschen Händen selbst die am stärksten gehärteten Verteidigungen durchdringen. Der Dual-Use-Charakter solcher Systeme – leistungsstarke defensive Werkzeuge, die gleichzeitig das offensive Potenzial erweitern – ist zu einer wiederkehrenden Spannung in den KI-Governance-Debatten unter politischen Entscheidungsträgern geworden, einschließlich laufender Bemühungen in den Vereinigten Staaten, der Europäischen Union und dem Vereinigten Königreich, verbindliche KI-Sicherheits- und Evaluationsrahmen zu schaffen.

„Es gibt viel, worüber man sich Sorgen machen muss, und ich denke, wenn wir uns jetzt keine Sorgen machen, könnte es Probleme geben", sagte Hinton.

„Die Leute sagen, dass der Verteidiger möglicherweise über mehr Ressourcen verfügt als der Angreifer", fügte er während einer Medienveranstaltung auf der Konferenz hinzu. „Das Problem ist, dass der Angreifer nur einmal erfolgreich sein muss, der Verteidiger aber jedes Mal."

Smartsheets Ansatz

Für den Work-Management-Plattform-Anbieter Smartsheet sind Vorfälle, bei denen KI-Agenten gegen Eingrenzungsprotokolle verstoßen, Anlass zur Sorge. Das Unternehmen unterhält eine Partnerschaft mit Anthropic und nutzt die Modelle des Anbieters intern.

„Diese großen Geschichten über Dinge, die [schiefgehen], versetzen uns immer in eine defensive Haltung", sagte Markus McKay-Fleisch, Director Professional Services Enablement bei Smartsheet, in einem Interview. McKay-Fleisch hilft, die Einführung von KI-Systemen im gesamten Unternehmen voranzutreiben.

Er betonte, dass Unternehmen KI-Systeme nicht aktivieren sollten, ohne zuvor den spezifischen Wert zu verstehen, den sie von dem Agenten oder Modell erwarten.

„Wir haben viel mit der IT-Abteilung zusammengearbeitet, um die Infrastruktur aufzubauen und den Wert zu realisieren", fuhr McKay-Fleisch fort. Smartsheet verlangt von Mitarbeitern, die KI-Tools nutzen möchten, anzugeben, was sie erreichen wollen – seien es Effizienzgewinne, KPI-Auswirkungen oder Erlös- und Kostverbesserungen.

„Das verschafft der IT-Abteilung ein gewisses Maß an Sicherheit", sagte er. „Wenn man genau weiß, was die Leute damit vorhaben? Was ist der Use Case?"

Die Notwendigkeit von Sicherheit

Während Unternehmen hinsichtlich ihrer spezifischen KI-Anwendungen transparent sein sollten, zeigen die Auftritte der OpenAI- und Anthropic-Agenten – die in dieser Woche bekannt wurden – auch, wie viel über KI-Systeme noch unbekannt ist. Die Vorfälle haben die Forderungen von KI-Sicherheitsforschern nach standardisiertem externem Red-Teaming – der adversarialen Testung von Modellen durch unabhängige Dritte – verstärkt, bevor fortgeschrittene Agenten in realen Umgebungen eingesetzt werden.

„Es gibt wahrscheinlich immer noch Grenzen dafür, wie tief [Unternehmen] diese Dinge in die Entscheidungsfindungsstrukturen [ihrer] Organisationen integrieren möchten", sagte Jed Dougherty, Senior Vice President of AI and Platform beim KI-Anbieter Dataiku, in einem Interview.

Unternehmen sollten außerdem Schritte unternehmen, um ihre Daten zu schützen und KI-Agenten nur Zugriff auf die Informationen zu gewähren, die sie für sie vorgesehen haben, sagte Todd Barr, CEO von Axonis, einem Unternehmen, das eine KI-Infrastrukturplattform entwickelt, die KI direkt auf sensiblen Daten ausführt.

„Wenn Sie die Dinge auf der Daten-Ebene absichern, hat der Agent niemals Zugriff oder weiß überhaupt nicht, dass es existiert", sagte Barr in einem Interview. Er wies darauf hin, dass die meisten KI-Modelle mit öffentlichen und nicht mit privaten Daten trainiert werden, was bedeutet, dass Unternehmen ihre Daten absichern und den Zugriff von KI-Agenten verhindern können. Axonis sichert alle Daten, die in sein System eingehen, fügte er hinzu.

„Wenn Sie Agenten wie Entitäten in Ihrem Zugriffssteuerungssystem behandeln und Ihre Daten so kennzeichnen, dass sie mit Ihrem Zugriffssteuerungssystem übereinstimmen, dann sollten Sie mit Agenten auf der sicheren Seite sein", sagte Barr.