„KI wird wahrscheinlich am ehesten zum Ende der Welt führen, aber in der Zwischenzeit wird es großartige Unternehmen geben“, sagte OpenAI-CEO Sam Altman 2015, etwa sechs Monate bevor OpenAI gegründet wurde.

Sieben Jahre später äußerte sich Anthropic-CEO Dario Amodei ähnlich vorsichtig: „Ich glaube, wir sollten nicht voreilen oder versuchen, Modelle zu bauen, die viel größer sind als die, die andere Organisationen bauen.“

Trotz dieser Aussagen stehen beide Unternehmen heute im Zentrum dieses Rennens. Im Juli bekam die Branche bei internen Tests von GPT-5.6 Sol und einem unveröffentlichten Forschungsmodell von OpenAI einen realen Einblick in unvorhersehbar agierende KI-Modelle. Mehrere KI-Agenten entkamen aus einer eingeschränkten Testumgebung ins offene Internet und hackten Hugging Face, das GitHub-Äquivalent im KI-Bereich, offenbar, um beim Test zu schummeln.

Ein KI-Agent ist ein System, das mithilfe spezieller Werkzeuge eigenständig beobachtet, entscheidet und handelt, um autonom ein bestimmtes Ziel zu erreichen. Der beunruhigende Vorfall deutet darauf hin, dass die Technologie begonnen hat, sich unvorhersehbar zu verhalten, und dass ihre Ziele nicht mit unseren übereinstimmen.

Er wirft zudem Fragen zu den Sicherheitsmechanismen auf, die in kommerzielle US-Modelle eingebaut sind. Zwar verhindern diese Mechanismen den missbräuchlichen Einsatz nicht zuverlässig, doch sie verhinderten, dass Hugging Face sich mit führenden US-Modellen verteidigen konnte. Das Unternehmen musste stattdessen auf ein schwächeres Open-Weight-KI-Modell von Z.Ai zurückgreifen, um die außer Kontrolle geratenen KI-Systeme zu bekämpfen.

Beim Test schummeln

Die Agenten scheinen inzwischen auch untereinander zu kooperieren. Wenige Wochen nachdem die Tests Anfang Mai begonnen hatten, missbrauchten die Agenten OpenAIs Instanz des Software-Repository-Managers Artifactory und hinterließen Hinweise dazu für künftige Agenten – faktisch ein Schwarzes Brett zum Teilen entdeckter Schwachstellen.

Der neu gewonnene ungehinderte Internetzugang wurde anschließend genutzt, um Hugging Face in rund 17.600 Vorfällen anzugreifen, bevor das Unternehmen den unautorisierten Zugriff am 13. Juli beendete.

Der Vorfall betraf Hugging Faces Infrastruktur zur Verarbeitung von Datensätzen, die Produktionsumgebung, interne Netzwerke, Service- und Cloud-Zugangsdaten, eine operative MongoDB-Datenbank sowie einen begrenzten Satz interner Quellcode-Repositories. Bestätigter Zugriff auf Kundendaten beschränkte sich auf fünf Datensätze, die offenbar mit dem Benchmark ExploitGym/CyberGym zusammenhängen, sowie auf einige operative Metadaten.

Visualisierung des Vorfalls vom Juli 2026. Quelle: Hugging Face

Bei der Offenlegung des Vorfalls am 16. Juli stellte Hugging Face fest – obwohl zu diesem Zeitpunkt noch nicht bekannt war, wer verantwortlich war –, dass der Vorfall „in einer wichtigen Hinsicht anders war als alles, womit wir es zuvor zu tun hatten“. Das Unternehmen hatte auch bereits erkannt, was ihn anders machte:

„Er wurde von Anfang bis Ende von einem autonomen KI-Agentensystem angetrieben – und wir haben ihn weitgehend mit eigener KI erkannt und analysiert.“

Die Bedeutung von Open-Weight-KI

Hugging Faces Untersuchung legte das von dem Unternehmen als „Asymmetrie“-Problem bezeichnete Phänomen offen, das durch die Beschränkungen entsteht, die führende Anbieter wie OpenAI und Anthropic ihren geschlossenen KI-Modell-Anwendungen auferlegen. Als das Unternehmen begann, die Protokolle des Vorfalls zu analysieren – darunter große Mengen realer Angriffsbefehle –, lösten die Sicherheitsmechanismen aus, die Missbrauch verhindern sollen. Dadurch wurde verhindert, dieselben KI-Systeme zur Verteidigung einzusetzen.

Hugging Face griff daraufhin auf das chinesische Open-Weight-Modell zai-org/GLM-5.2 zurück und betrieb es auf der eigenen Infrastruktur, unter eigener Kontrolle und ohne externe Einschränkungen.

Auch wenn die Begriffe oft synonym verwendet werden, sind Open-Source- und Open-Weight-Modelle nicht dasselbe. Open-Weight-KI-Modelle machen ihre trainierten Parameter – das eigentliche „KI-Gehirn“ – öffentlich zugänglich, während Open-Source-KI-Modelle zusätzlich den Quellcode und idealerweise auch die Trainingsmethoden und weitere Komponenten bereitstellen, die nötig sind, um das System zu prüfen, zu verändern und zu reproduzieren.

Hugging Face erklärte, dass der Betrieb eines Open-Weight-Modells auf eigener Hardware „einen zweiten Vorteil hatte: Keine Angreiferdaten und keine der darin referenzierten Zugangsdaten verließen unsere Umgebung.“ Das verweist auf eine erhebliche Asymmetrie zwischen Angreifern und Verteidigern:

„Diese Erfahrung weist auf eine Lücke hin, für die wir planen sollten. Wir wissen nicht, welches Modell die Agenten der Angreifer antrieb, ob ein gejailbreaktes gehostetes Modell oder ein uneingeschränktes Open-Weight-Modell; in jedem Fall war der Angreifer an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit durch die Sicherheitsmechanismen der zuerst getesteten gehosteten Modelle blockiert wurde.“

Die Open-Source-KI-Kluft

Es gibt eine deutliche Kluft zwischen denen, die glauben, dass KI offen entwickelt werden sollte, und denen, die darauf bestehen, dass die Technologie hinter den Frontier-Modellen streng geheim bleiben muss.

Verwandt: OpenAI sagt, KI-Modelle seien aus der Eindämmung ausgebrochen, um Hugging Face zu hacken

Vertreter führender US-KI-Labore behaupten, leistungsstarke große Open-Weight-Modelle seien gefährlich. Demis Hassabis, CEO von Googles KI-Labor DeepMind, kritisierte OpenAI 2016 für die Veröffentlichung seiner Arbeit als Open Source, als das Unternehmen seinem Namen noch gerecht wurde:

„Es gibt viele gute Gründe, warum der von euch verfolgte Ansatz tatsächlich sehr gefährlich ist und das Risiko für die Welt sogar erhöhen könnte.“

OpenAI stellte 2020 mit dem damals noch unveröffentlichten GPT-3 die Veröffentlichung der Gewichte seiner Flaggschiff-Modelle ein. Der Mitgründer und frühere Chefwissenschaftler des Unternehmens, Ilya Sutskever, sagte 2023, dass es „einfach keinen Sinn ergibt, solche Modelle als Open Source zu veröffentlichen“ und dass es „eine schlechte Idee“ sei. Er fügte hinzu: „Je näher wir dem Aufbau von KI kommen, desto sinnvoller wird es, weniger offen zu sein.“

Open-Weight-Modelle sind nur schwer zu kontrollieren, insbesondere mit Blick auf den Zweck, für den sie eingesetzt werden. Die eingebauten Schutzmechanismen können – und werden regelmäßig – durch einen Prozess namens abliteration entfernt.

Sicherheitsmechanismen sind ein zweischneidiges Schwert

OpenAIs im Juni 2026 vorgelegter bundesweiter Politikentwurf sieht verpflichtende KI-Modellbewertungen und weitere Regeln vor, die formal entwicklungsneutral sind, in der Praxis jedoch eine Frontier-Open-Weight-Veröffentlichung einer behördlichen Prüfung vor der Freigabe unterwerfen würden.

Anthropic verfolgt einen etwas anderen Ansatz und lobbyiert für strengere Exportkontrollen bei fortgeschrittenen KI-Chips sowie für die Durchsetzung gegen Bemühungen, US-Modelle zu extrahieren oder zu reproduzieren. In einer Eingabe vom April 2025 empfahl das Unternehmen, die US-Regel zur KI-Diffusion zu verschärfen und die Schwellen für den unlizenzierten Zugriff auf große Rechencluster zu senken.

Offiziell hat keines der beiden Unternehmen direkt gegen Open-Weight-Modelle vorgegangen. Ein Bericht der New York Times vom Juli zitierte jedoch fünf mit den Gesprächen vertraute Personen, denen zufolge OpenAI und Anthropic Washington aufgefordert hätten, leistungsstarke offene chinesische Modelle zu beschränken.

Die Debatte läuft auf die Frage hinaus, ob die Gefahren zentralisierter Kontrolle den Gefahren eines freien Wettbewerbs ohne Schranken vorzuziehen sind – zumal das betreffende Unternehmen gezeigt hat, dass es die von ihm entwickelte Technologie nur begrenzt eindämmen kann.

Dass Hugging Face sich mit einem Open-Weight-Modell verteidigen musste, zeigt die Risiken, zu viel Macht in einer einzigen Entität zu bündeln. Das Unternehmen formulierte die praktische Lehre so:

„Der Angreifer war an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit durch die Sicherheitsmechanismen der zuerst getesteten gehosteten Modelle blockiert wurde. Die praktische Lehre für Verteidiger: Halten Sie vor einem Vorfall ein leistungsfähiges Modell bereit, das Sie auf Ihrer eigenen Infrastruktur betreiben können und das geprüft und einsatzbereit ist, um sowohl einen Lockout durch Guardrails zu vermeiden als auch zu verhindern, dass Angreiferdaten und Zugangsdaten Ihre Umgebung verlassen.“

Der eingeschränkte Zugang zu leistungsstarken Modellen mag die Zahl fähiger Angreifer verringern, doch sobald unbeschränkte Angreifer existieren, kann die Einschränkung von Verteidigern zu einem Sicherheitsrisiko werden. Zudem erfordern manche Formen der KI-Sicherheitsforschung Zugriff auf Modellgewichte, was bedeutet, dass sie nicht mit den Modellen von Anthropic oder OpenAI durchgeführt werden kann.

Open Weights helfen Forschern, Angriffe zu verhindern

Die im Juli 2025 erstmals veröffentlichte Studie „Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs“ zeigt, wie Forschende bösartiges oder verborgenes Verhalten erkennen können, indem sie Veränderungen innerhalb der Modellgewichte untersuchen. In einigen Experimenten stoppten die Forschenden bis zu 100 % der getesteten Backdoor-Angriffe bei unter 1 % False-Positive-Rate und erkannten Versuche zur Wiederherstellung entfernter Wissensinhalte in mehr als 95 % der Fälle.

Diese Ergebnisse zeigen nicht, wie sich die leistungsfähigsten Frontier-Modelle unter derselben Analyse verhalten würden, liefern aber ein überzeugendes Argument für Transparenz.

Gleichzeitig bleibt das Argument stark, die modernste KI nicht in die Hände böswilliger Akteure gelangen zu lassen – insbesondere, da die Lücke zwischen offenen und geschlossenen Gewichtsmodellen weiter schrumpft. Geoffrey Hinton, der mit dem Nobelpreis ausgezeichnete KI-Pionier, bekannt als der „Godfather of AI“, argumentierte in dem Bericht, dass man, „sobald man die Gewichte hat, sie so feinabstimmen kann, dass sie schlechte Dinge tun“.

In einer Rede sagte Hinton, dass dies die Einstiegshürde zu stark senkt:

„Es kostet nicht besonders viel, ein Basismodell zu trainieren. Vielleicht braucht man 10 Millionen Dollar, vielleicht 100 Millionen Dollar. Aber eine kleine Verbrecherbande kann das nicht. Ein Open-Source-Modell feinzujustieren ist ziemlich einfach.“

Magazin: Eine „gute“ AGI erschaffen, die uns nicht alle tötet — The Artificial Superintelligence Alliance