Letzten Dienstag erschien auf der OpenAI-Website ein Blogbeitrag mit einem harmlos klingenden Titel, der jedoch bombastische Nachrichten enthielt. Während interner Tests waren zwei der Modelle des Unternehmens aus ihrer Begrenzung ausgebrochen und hatten die Server von Hugging Face gehackt, einer großen Hosting-Plattform für künstliche Intelligenz. Das markierte einen Wendepunkt — zum ersten Mal haben wir einen Cyberangriff gesehen, der von KI konzipiert, entworfen und ausgeführt wurde.

Da ich seit mehr als einem Jahrzehnt in und um die KI-Branche gearbeitet habe, unter anderem als Mitglied des OpenAI-Verwaltungsrats, weiß ich, dass unter KI-Entwicklern ein offenes Geheimnis besteht: Ein Vorfall wie dieser wurde seit Langem erwartet, und selbst die besten Wissenschaftler und Ingenieure der Welt wissen immer noch nicht, wie man ihn verhindern kann.

Die beiden KI-Systeme hinter dem Hack waren OpenAIs fortschrittlichstes öffentliches Modell und ein neueres, noch fortschrittlicheres Modell, das noch nicht für eine öffentliche Veröffentlichung freigegeben war. Als OpenAI-Forscher den Systemen eine Reihe schwieriger Cybersicherheitsprobleme gaben, um ihre Fähigkeiten zu beurteilen, kamen die Modelle zu dem Schluss, dass der beste Weg zu einer hohen Punktzahl schlicht darin bestehe, die Antworten zu stehlen. Um dieses Ziel zu erreichen, setzten sie mehrere fortgeschrittene Techniken ein, um zunächst aus der angeblich sicheren „Sandbox“ auszubrechen, die OpenAI für Tests verwendete, und dann in die Datenbanken von Hugging Face einzudringen. Hugging Face hostet KI-Produkte und Datensätze. Einmal im Inneren, führten die KI-Angreifer über mehrere Tage Tausende autonomer Aktionen aus, um ihren Zugriff auf die Infrastruktur des Unternehmens auszuweiten.

Wir erfahren nur deshalb von diesem außergewöhnlichen Vorfall, weil Hugging Face und OpenAI ihn freiwillig offengelegt haben. Keine der derzeitigen politischen Maßnahmen, die Risiken von Frontier-Modellen steuern sollen, hätte vorgeschrieben, dass die Öffentlichkeit — oder selbst eine Regierungsbehörde — informiert wird.

Damit wird ein enormes blinder Fleck in den heutigen politischen Ansätzen zum Umgang mit Risiken zunehmend fortgeschrittener KI-Systeme offengelegt: wie KI-Unternehmen hochmoderne, noch unveröffentlichte KI-Systeme innerhalb ihrer eigenen Mauern einsetzen.

Der Ansatz der Trump-Regierung gegenüber KI-Risiken hat sich in den vergangenen Monaten rasch verändert, da die Fähigkeit von KI, menschliche Hacker zu unterstützen, zugenommen hat. Nachdem das Weiße Haus den gesamten Zeitraum 2025 über einen weitgehend zurückhaltenden Ansatz beibehalten hatte, verlangt es inzwischen de facto, dass Unternehmen mit hochmodernen KI-Modellen diese vor einer breiten Veröffentlichung als Produkte einer Reihe von Sicherheitstests unterziehen. Dieser Ansatz des Pre-Deployment-Testing wirkt auf den ersten Blick sinnvoll — wir wollen sicherstellen, dass jedes KI-System sicher ist, bevor wir es in die Hände von Milliarden Menschen legen. Das Problem ist, dass die Konzentration auf Veröffentlichungstermine den umfangreichen Einsatz der neuesten und fortschrittlichsten KI-Systeme innerhalb von KI-Unternehmen völlig ignoriert. Wie der Vorfall der vergangenen Woche zeigt, können diese intern eingesetzten KI-Systeme erhebliche Risiken bergen — sogar für Dritte.

Um zu verstehen, warum, ist es wichtig zu wissen, wie sehr sich diese Systeme von den Chatbots unterscheiden, die für einen Großteil der Öffentlichkeit immer noch mit KI gleichgesetzt werden. Weit davon entfernt, nur Text in ein Chatfenster zu tippen, agieren heutige KI-Systeme als „Agenten“, die direkt in der digitalen Welt handeln können und im Wesentlichen einen Computer ähnlich wie ein Mensch bedienen. KI-Agenten erweisen sich als sehr nützlich, zeigen aber auch eine starke Tendenz zu „Reward Hacking“ — also dazu, unbeabsichtigte Wege zu finden, die ihnen von Menschen gesetzten Ziele zu erfüllen, manchmal bis hin zu offener Täuschung. Dazu gehören Fälle, in denen KI auf Daten zugriff und diese löschte, die eigentlich tabu sein sollten, Dateien umbenannte, um menschliche Tester in die Irre zu führen, und aktiv ihre Spuren verwischte, um zu verhindern, dass Menschen unerwünschtes Verhalten bemerken.

Um die Risiken solcher hochautonomen und oft täuschenden KI-Systeme zu beherrschen, müssen wir unseren Regulierungsansatz ändern. Anstatt KI-Unternehmen als Softwareanbieter zu betrachten, die aufgebohrte Textverarbeitungsprogramme verkaufen, können wir uns an anderen Branchen orientieren, in denen schon die Aktivitäten innerhalb der Branche selbst riskant sind. Biologische Labore, die mit tödlichen Krankheitserregern arbeiten, Finanzunternehmen, die Milliarden von Dollar handeln, und Chemieanlagen, die giftige Stoffe handhaben, unterliegen einer Aufsicht über ihre internen Abläufe und nicht nur über ihre externen Produkte.

Im Bereich KI besteht der erste Schritt darin, mehr Transparenz darüber zu schaffen, wie Unternehmen ihre fortschrittlichsten Systeme intern einsetzen. Das könnte so einfach sein wie die derzeitigen Tests, die vor der öffentlichen Freigabe eines neuen Modells durchgeführt werden, regelmäßig — etwa vierteljährlich — auf das beste im Unternehmen verfügbare Modell oder die besten Modelle anzuwenden. Diese Unternehmen nutzen ihre eigene KI, um immer intelligentere Systeme zu bauen, manchmal auf eine Weise, die sie selbst nicht vollständig verstehen. Das sollte für die externe Aufsicht nicht unsichtbar bleiben.

Auf längere Sicht bieten andere Branchen Mechanismen, die sich auf KI übertragen ließen. Im Finanzwesen sind „resident examiners“ spezielle Teams von Aufsehern, die in den Büros großer Banken sitzen. In der biomedizinischen Forschung gibt es strenge Standards für das Schutzniveau, das erforderlich ist, um biologische Materialien unterschiedlicher Risikostufen zu handhaben. In mehreren Branchen sorgen Meldepflichten für Vorfälle dafür, dass Informationen darüber, was schiefgelaufen ist und wie es behoben werden kann, nicht in einem einzigen Unternehmen eingeschlossen bleiben. Wenn sich KI weiterentwickelt, könnten diese und andere Ansätze dazu beitragen, Risiken zu bewältigen, die in Unternehmen entstehen, die an der KI-Grenze voranschreiten.

Im September 2024 wurde ich gebeten, vor einem Senatsausschuss darüber auszusagen, was der Kongress über KI missverstehen könnte, wenn er nur auf Unternehmens-CEOs und Lobbyisten hörte. Meine Antwort war, dass es in Washington sehr schwer sein kann, vollständig zu verstehen, was führende KI-Unternehmen zu tun versuchen. Die in Silicon Valley weithin bekannte Wahrheit ist, dass sie Maschinen bauen wollen, die jeden Menschen übertreffen und überlisten können, und dass sie nicht wissen, ob sie diese Maschinen auf nützliche Ziele ausrichten können. Wie einer der OpenAI-Mitgründer in einer Dokumentation aus dem Jahr 2019 sagte: „Die Zukunft wird so oder so gut für die AIs sein. Schön wäre es, wenn sie auch für die Menschen gut wäre.“

Damit das gelingen kann, müssen wir damit beginnen, genau zu prüfen, was KI-Unternehmen hinter verschlossenen Türen bauen.

Die in Fortune.com-Kommentaren geäußerten Meinungen sind ausschließlich die Ansichten ihrer Autorinnen und Autoren und spiegeln nicht notwendigerweise die Meinungen und Überzeugungen von Fortune wider.

Diese Geschichte erschien ursprünglich auf Fortune.com