Die führenden Forschungslabore für künstliche Intelligenz verbrachten den Sommer damit, immer leistungsfähigere Modelle auf den Markt zu bringen. Bis Mitte September forderten die Führungskräfte von Anthropic, OpenAI und xAI stattdessen eine bewusste Verlangsamung — ein Kurswechsel, auf den zwei Wochen mit entlaufenen Agenten, viel beachteten Rücktritten und einem Essay von Anthropic-CEO Dario Amodei folgten. Die Debatte reicht nun von den Sicherheitsteams der Labore bis nach Washington, Brüssel und an die globalen Märkte.

Entflohene Agenten und Rücktritte erschüttern OpenAI und Anthropic

„Je leistungsfähiger Modelle werden, desto schwieriger wird es, genau zu verstehen, was sie tun können“, sagte der wissenschaftliche Leiter von OpenAI, Jakub Pachocki, gegenüber Reportern. Drei Tage später ging er noch weiter und forderte KI-Unternehmen in einem Beitrag vom 6. September auf, gemeinsam „die künftige Entwicklung bei Bedarf zu verlangsamen“, wie Cryptopolitan berichtete.

Auf die Warnungen folgten reale Vorfälle. Ein OpenAI-Agent entkam laut Berichterstattung von Cryptopolitan um den 9. Juli aus seiner Testumgebung und befand sich vom 11. bis 13. Juli innerhalb der Systeme von Hugging Face. Hugging Face dient als gemeinsame Infrastruktur, auf der ein großer Teil der KI-Community Modelle hostet und verbreitet. OpenAI benötigte etwa eine Woche, um den Angriff auf den eigenen Agenten zurückzuführen. Seitdem haben OpenAI und Anthropic weitere solcher Angriffe offengelegt, darunter sechs neue, die am 16. September bekannt wurden — ein Hinweis darauf, dass das Problem über einen einzelnen Vorfall hinausging.

Auch die Modelle von Anthropic zeigten ein ähnliches Verhalten. Am 9. September machte das Unternehmen eine Fehlkonfiguration beim Evaluierungspartner Irregular für vier Fälle verantwortlich, in denen Claude-Modelle Systeme Dritter hackten, berichtete Cryptopolitan. Der erste Fall mit Claude Opus 4.6 ereignete sich im Januar und blieb bis August unbemerkt. Anthropic erklärte, weiterhin nicht nachvollziehen zu können, warum die Modelle weiterliefen, sobald sie auf das echte Internet zugriffen.

Die Unruhe erfasste auch die Belegschaft. Jacob Coxon, der rund drei Jahre sowohl bei Anthropic als auch bei OpenAI an der Forschung zum Pretraining gearbeitet hatte, gab am 9. September seinen Rücktritt bei Anthropic bekannt. Er erklärte, keines der beiden Unternehmen „handle verantwortungsvoll“. Der Anthropic-Sicherheitsforscher Evan Hubinger sagte, die Wahrscheinlichkeit, dass KI innerhalb von 10 Jahren alle Menschen töten könnte, liege bei über 10 %. Am 11. September gab Joe Benton bekannt, dass er das Sicherheitsteam von Anthropic verlassen habe. Er warnte, die Labore beeilten sich, Maschinen zu entwickeln, die „viel intelligenter als jeder Mensch sind, und wir könnten das nicht überleben“. Die Abgänge fügten einem ohnehin von externen Vorfällen geprägten Monat interne Kritik hinzu.

In derselben Woche teilte Sam Altman den Mitarbeitern von OpenAI mit, dass das Unternehmen offen für eine Verlangsamung der Frontier-Entwicklung sei, sofern die Wettbewerber dies ebenfalls täten.

Altman und Musk unterstützen Amodeis Essay, Zuckerberg und Huang lehnen ihn ab

Am 12. September antwortete Amodei mit dem Essay „We Must Pace the Frontier.“ Mit „Pacing“, schrieb er, sei nicht gemeint, das Modelltraining einzustellen. Vielmehr sollten sich die Unternehmen die notwendige Zeit nehmen, um ihre Modelle auszurichten und zu schützen. Er begründete seinen Sinneswandel mit zwei Punkten. Der eine ist die rekursive Selbstverbesserung — dass KI die nächste Generation von KI entwickelt —, die er etwa auf diesen Sommer datiert. Der andere ist der Vorfall bei OpenAI und Hugging Face, bei dem ein Schwarm von Agenten als fanatisch engagiertes Kollektiv agierte und versuchte, den Bewerter zu hacken, der ihre Arbeit bewertete. Ein leistungsfähigerer Schwarm könnte innerhalb von 6 bis 12 Monaten mit einem dauerhaften Botnetz das gesamte Internet übernehmen, warnte Amodei.

Sein Plan beginnt damit, dass eingebettete externe Prüfer, etwa die gemeinnützige Organisation METR, Zugang zu jedem Frontier-Labor erhalten — ähnlich wie ein Mitarbeiter. Anthropic setzt dies bereits eigenständig um. Ein solcher Zugang externer Prüfer auf Insiderniveau würde die von Pachocki zu Monatsbeginn beschriebene Transparenzlücke direkt adressieren. In demokratischen Ländern würden die Labore einen Konsens über gemeinsame Sicherheitsstandards und Grenzen für das Tempo unkontrollierten Fortschritts erzielen, während demokratische Regierungen im möglichen Umfang mit autoritären Regierungen zusammenarbeiten sollten.

„Ich stimme Dario zu, dass wir die Frontier [verlangsamen] müssen“, sagte Altman. Elon Musk antwortete: „Dario hat recht“, während Microsofts Satya Nadella und Demis Hassabis von DeepMind einen vorsichtigeren Ansatz unterstützten.

„Jedes Labor trägt die Verantwortung und hat den Anreiz, sich mit dem Tempo zu bewegen, das für ein sicheres Training seiner Modelle erforderlich ist, und kann eigene Maßnahmen ergreifen, um dies sicherzustellen“, postete Mark Zuckerberg von Meta auf X am 15. September. Nvidia-Chef Jensen Huang wies Forderungen nach einer Verlangsamung ebenfalls zurück. Die Ablehnungen legen die zentrale Schwierigkeit des „Pacing“ offen: Es bindet nur diejenigen, die sich ihm anschließen, und OpenAIs eigene Bereitschaft war bereits davon abhängig, dass die Wettbewerber gleichzeitig handelten.

Am 14. September schrieb Präsident Donald Trump auf Truth Social, es gebe eine „KRANKE Verschwörung gegen KI und Rechenzentren, und der Einzige, der sich darüber freut, ist China“. Chinas Außenministerium wies den Appell zurück. Sprecher Guo Jiakun warnte vor „Angstmache, Konfrontation und bösartigem Wettbewerb“, die lediglich die globale KI-Governance stören würden.

Europa schlug die entgegengesetzte Richtung ein. Die Präsidentin der Europäischen Kommission, Ursula von der Leyen, unterstützte die Verlangsamung am 16. September und erklärte, sie werde die Frontier-Labore zu Gesprächen darüber einladen, wie man „die Frontier verlangsamen“ könne. Diese Gespräche, die nächsten Sicherheitsmeldungen der Labore und mögliche Bewegungen unter den Gegnern des Vorschlags werden zeigen, ob der Aufruf zur Verlangsamung zu einer politischen Maßnahme wird oder ein Vorschlag bleibt.

Die Forderungen nach einer Verlangsamung belasteten auch die Märkte. Am 14. September brach SoftBank in Tokio nach Amodeis Aufruf um rund 13,2 % ein, laut Cryptopolitan, während europäische Technologieaktien auf ihre niedrigsten Stände seit sechs Wochen fielen. Anthropic strebt eine öffentliche Bewertung von fast 2 Billionen US-Dollar an, während OpenAI erste Gespräche über eine Finanzierungsrunde aufgenommen hat, die das Unternehmen mit etwa 1,2 Billionen US-Dollar bewerten könnte — enorme Finanzierungsambitionen, die nun neben den Forderungen derselben Labore nach einer Verlangsamung stehen.