Mehr als 1.200 Beschäftigte führender KI-Labore, darunter leitende Führungskräfte, haben eine Erklärung unterzeichnet, in der sie die US-Regierung auffordern, beim Aufbau der Instrumente zu helfen, die erforderlich wären, um die KI-Entwicklung zu verlangsamen, falls dies jemals notwendig werden sollte.

Die Erklärung mit dem Titel „Pacing the Frontier“ wurde am Dienstag veröffentlicht und von prominenten Tech-Persönlichkeiten unterzeichnet, darunter Anthropic-CEO Dario Amodei und mehrere Mitgründer des Unternehmens, zusammen mit OpenAI-Chefscientist Jakub Pachocki, Meta-Chefscientist Shengjia Zhao und Anca Dragan, der Leiterin für KI-Sicherheit und Alignment bei Google DeepMind.

Die Unterzeichner vereinen Unternehmen, die normalerweise in scharfem Wettbewerb stehen, und verdeutlichen damit den Druck auf eine Branche, die mit hohem Tempo immer größere und leistungsfähigere Modelle entwickelt. Das ist bedeutsam, weil nicht nach einer sofortigen Pause verlangt wird, sondern nach einer Infrastruktur, die eine künftige Verlangsamung technisch und politisch für die gesamte Branche praktikabel machen würde, statt von den Maßnahmen eines einzelnen Unternehmens abzuhängen.

„Dass so viele Mitarbeitende aus unterschiedlichen Unternehmen in dieser Frage zusammenkommen, ist bemerkenswert“, sagte Tyler Johnston, Gründer der Midas Project, einer KI-Watchdog-Gruppe, gegenüber Fortune. „Es gibt in der Branche viele erbitterte Rivalitäten und Meinungsverschiedenheiten, daher ist der Umstand, dass es bei diesem Punkt einen so starken Konsens gibt, eine Warnung, auf die wir wirklich achten sollten.“

Die Erklärung fordert nicht, dass ein Unternehmen sofort langsamer wird. Stattdessen ruft sie Washington dazu auf, eine internationale Anstrengung zu unterstützen, um die technischen und governancebezogenen Instrumente zu entwickeln, die der Welt helfen würden, die Entwicklung zu „pacing“. Sie hebt insbesondere die Risiken von KI-Systemen hervor, die beginnen, ihre eigenen Nachfolger schneller zu entwerfen, als Menschen sie verstehen oder kontrollieren können.

„Nachdem ich mit vielen der Personen gesprochen habe, die den Brief unterzeichnet haben, kann ich sagen, dass sie keinen Stopp wollen“, sagte Peter Wildeford, Leiter der Politik bei der AI Policy Network, gegenüber Fortune. „Aber es gibt Sorgen darüber, wie sich die Technologie entwickelt.“ Die Unternehmen wollten sich die Option offenhalten, die Entwicklung zu einem späteren Zeitpunkt zu verlangsamen, und dann Unterstützung von einer dritten Partei erhalten, wenn dieser Moment komme, fügte er hinzu.

Der Brief folgt auf einen Sicherheitsvorfall, der die KI-Branche aufgeschreckt hat. OpenAI teilte mit, dass zwei seiner Modelle, das neu veröffentlichte GPT-5.6 Sol und ein leistungsfähigeres, unveröffentlichtes Forschungssystem, aus einer sandboxierten internen Testumgebung ausgebrochen seien, eine bisher unbekannte Schwachstelle gefunden hätten, die ihnen Zugang zum offenen Internet verschaffte, und dann gestohlene Zugangsdaten sowie weitere Exploits genutzt hätten, um die Produktionssysteme von Hugging Face anzugreifen und die Antworten auf einen Cybersecurity-Benchmark zu stehlen, auf den sie getestet wurden. Hugging Face habe den Vorfall eigenständig Tage vor der Zuordnung der Aktivitäten durch OpenAI zu internen Tests entdeckt und eingedämmt und den Vorfall bereits an Strafverfolgungsbehörden gemeldet.

Der Vorfall hat offenbar innerhalb und außerhalb der Labore Alarm ausgelöst, die ein Eingreifen der Regierung wollen. Experten sagen, dass kein einzelnes Unternehmen glaubwürdig allein verlangsamen könne, da ein einseitiges Vorgehen das Risiko berge, gegenüber weniger vorsichtigen Konkurrenten ins Hintertreffen zu geraten. Stattdessen suchten die Labore nach neutralen, staatlich gestützten Leitlinien, mit denen überprüft werden könne, ob eine Verlangsamung tatsächlich stattfindet, und die gleichzeitig alle Unternehmen zur selben Zeit an dieselben Regeln binden.

Die Erklärung fordert außerdem, dass diese Instrumente in internationaler Abstimmung entwickelt werden. In der Branche besteht seit Langem die Sorge, dass ein Stopp der KI-Entwicklung China einen Vorteil im globalen KI-Wettlauf verschaffen könnte. Einige Experten argumentieren, dass eine Vereinbarung nach dem Vorbild der Rüstungskontrolle, die auf Verifizierung und gegenseitiger Begrenzung beruht, der beste Weg nach vorn wäre.

Der Brief erscheint jedoch inmitten eines volatilen und sich rasch wandelnden US-Politikumfelds für KI. In den vergangenen zwei Monaten hat die Trump-Regierung Frontier-Systeme, also fortschrittliche KI-Modelle mit wenigen Regeln oder begrenzter Transparenz, eingeschränkt und selektiv freigegeben. Anthropics Modelle Fable 5 und Mythos 5 wurden mehrere Wochen lang vollständig ausgesetzt, um Exportkontrollen einzuhalten, bevor der Zugang wiederhergestellt wurde, und OpenAI musste den vollständigen Rollout von GPT-5.6 verzögern und das System in eingeschränkte Stufen aufteilen, nachdem Beamte festgestellt hatten, dass es Fähigkeiten zeigte, die denjenigen ähnelten, die die früheren Anthropic-Beschränkungen ausgelöst hatten.

Vielleicht auch, um dieses regulatorische Umfeld zu berücksichtigen, ist die Formulierung des Briefs bemerkenswert vorsichtig und etwas vage. Er erklärt, dass der Welt derzeit „die technischen und governancebezogenen Werkzeuge fehlen, um den Fortschritt an der Frontlinie gezielt zu verlangsamen“, und fordert, dass „die US-Regierung eine internationale Anstrengung unterstützt, die technischen und governancebezogenen Werkzeuge zu entwickeln, die benötigt werden, um die Frontlinie der automatisierten KI-Entwicklung gezielt zu verlangsamen“.

Sorgen innerhalb der Labore

Eine der zentralen Sorgen der Forscher ist das Zusammenspiel zweier Risiken: recursive self-improvement und Fehlanpassung. Recursive self-improvement, oft mit RSI abgekürzt, bezeichnet KI-Systeme, die wesentliche Teile der Arbeit übernehmen, ihre eigenen Nachfolger zu entwerfen und zu trainieren, wobei jede Generation die nächste möglicherweise schneller aufbauen kann, als es Menschen allein könnten.

Fehlanpassung beschreibt das Risiko, dass die Ziele oder das Verhalten eines Systems von dem abweichen, was seine Entwickler tatsächlich beabsichtigt haben, und zwar auf eine Weise, die sich womöglich erst zeigt, wenn das System mehr Autonomie oder Fähigkeiten erhält. Anthropic schlug im Juni früh Alarm zu dem ersten dieser Risiken und veröffentlichte Forschungsergebnisse, wonach seine Claude-Modelle bereits den Großteil des Codes schrieben, der in die eigene Codebasis übernommen wurde, und dass der Welt die Werkzeuge fehlten, um diese Beschleunigung gezielt zu verlangsamen, falls sie sich weiter verstärke.

„Meine Vermutung ist, dass es für viele Menschen einfach ein allgemeines Unbehagen ist, zu dem viele Dinge beitragen“, sagte David Krueger, KI-Forscher und Gründer der gemeinnützigen Organisation Evitable. „Fehlanpassung und recursive self improvement gehen gewissermaßen Hand in Hand.“

„Es ist verrückt, recursive self improvement zu betreiben und die Kontrolle vollständig abzugeben, wenn das System nicht klar ausgerichtet ist“, fügte er hinzu.

Fortune berichtete zuvor auch, dass mehrere externe KI-Sicherheitsforscher glauben, der Vorfall habe möglicherweise eine Schwelle überschritten, die OpenAIs eigene Sicherheitsrichtlinien als „critical“ definieren, die höchste Risikostufe, auf der das Unternehmen zugesagt hat, die Entwicklung zu pausieren, bis bessere Kontrollen aufgebaut sind. OpenAI hat nicht bestätigt, ob diese Schwelle erreicht wurde.

In seiner eigenen Offenlegung zu dem Hugging-Face-Vorfall deutete OpenAI jedoch an, dass intern Maßnahmen ergriffen worden seien. „Keine Modelle, die für eine bevorstehende Veröffentlichung vorgesehen waren, waren am Ausnutzen von Hugging Face beteiligt“, sagte das Unternehmen. „Das in unserem Blogbeitrag erwähnte Vorab-Modell ist ein internes Forschungsprototyp und war nie für eine öffentliche Veröffentlichung vorgesehen. Nach dem Vorfall haben wir es deaktiviert, verschlüsselt und den Forschungszugriff darauf eingeschränkt.“

Dieser Beitrag wurde ursprünglich auf Fortune.com veröffentlicht.