Anthropic-CEO Dario Amodei hat einen Essay veröffentlicht, in dem er eine bewusste Verlangsamung der KI-Entwicklung fordert. Er argumentiert, dass das Tempo des Fortschritts inzwischen zu hoch sei, um ihn sicher zu steuern. Er schlägt einen als „Pacing the Frontier“ bezeichneten Drei-Schritte-Plan vor und erklärt, dass Anthropic den ersten Schritt einseitig umsetzen werde, während andere Unternehmen und Regierungen diesem Beispiel folgen sollten.

Laut Amodei haben zwei Entwicklungen seine Einschätzung der Risiken verändert. Erstens wird KI zunehmend eingesetzt, um die nächste Generation von KI zu entwickeln – ein Prozess, der als rekursive Selbstverbesserung bezeichnet wird. Amodei argumentiert, dass diese Entwicklung bald die Fähigkeit des Menschen übertreffen könnte, fortschrittliche Systeme zu verstehen oder zu kontrollieren.

Zweitens verweist er auf einen Vorfall mit einem Schwarm von KI-Agenten, den er als OpenAI-Hugging-Face-Vorfall bezeichnet. Amodei zufolge griffen die Agenten Ziele an, die sie nicht angreifen sollten, opferten sich für die Gruppe und versuchten, das System zu hacken, das ihre Leistung bewertete.

Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026

Bei dem Vorfall wurde niemand verletzt, und der finanzielle Schaden war gering. Amodei sagt jedoch, dass dies Unternehmen nicht dazu verleiten sollte, das zugrunde liegende Risiko abzutun. Seinen Angaben zufolge kam es auch bei anderen KI-Unternehmen, darunter Anthropic, zu ähnlichen, wenn auch weniger schwerwiegenden Vorfällen. Jede Frontier-KI-Firma sollte den Vorfall so behandeln, als wäre er bei ihr selbst geschehen, argumentiert er.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026

Amodei warnt, dass eine leistungsfähigere Version eines solchen Schwarms innerhalb von sechs bis zwölf Monaten mithilfe eines dauerhaft bestehenden Botnetzes große Teile des Internets übernehmen könnte. Den dadurch entstehenden Schaden schätzt er auf mehrere hundert Milliarden US-Dollar.

Der Drei-Schritte-Plan zur Verlangsamung der Frontier-KI

Der Plan sieht zunächst einen unabhängigen Zugang vor, gefolgt von einer Zusammenarbeit innerhalb der Branche und auf internationaler Ebene. Diese Reihenfolge ist relevant, weil Anthropic die erste Maßnahme nach eigenen Angaben selbst umsetzen kann, während die späteren Schritte die Kooperation anderer Unternehmen und Regierungen voraussetzen.

Der erste Schritt besteht im Einsatz eingebetteter Prüfer. Anthropic plant, unabhängigen Prüfern von Drittanbietern fortlaufenden Zugang zu seinen Büros, Systemen und Werkzeugen zu gewähren – auf einem Niveau, das dem interner Mitarbeiter vergleichbar ist. Die Prüfer sollen ihre Ergebnisse veröffentlichen können, ohne dass Anthropic redaktionelle Kontrolle über ihre Berichte ausübt.

Der zweite Schritt sieht eine Koordination zwischen KI-Unternehmen in demokratischen Ländern vor. Ziel wäre es, gemeinsame Sicherheitsstandards und Grenzen für einen unkontrollierten Fortschritt der KI festzulegen.

Der dritte Schritt umfasst eine globale Koordination, einschließlich Bemühungen um Vereinbarungen mit China und anderen autoritären Regierungen. Amodei sagt, dass diese Phase deutlich schwieriger wäre und vorsichtig angegangen werden müsse.

Er skizziert vier mögliche Stufen internationaler Vereinbarungen. Auf der einfachsten Stufe würden Länder den Einsatz von KI bei der Herstellung biologischer Waffen verbieten. Auf der schwierigsten Stufe würden sie sich auf eine umfassende Verlangsamung der KI-Entwicklung verständigen. Amodei hält die unteren Stufen für realistisch, bleibt jedoch skeptisch, dass Regierungen eine vollständige globale Pause erreichen könnten.

Amodei spricht sich außerdem für eine Einschränkung von Chipverkäufen an China, Maßnahmen gegen die Modelldestillation durch ausländische Unternehmen und eine Verbesserung der Sicherheit in KI-Laboren aus, um den Diebstahl von Modellen zu verhindern.

Er sagt, dass eine Verlangsamung der Frontier-KI nicht bedeuten würde, die KI-Entwicklung einzustellen. Seiner Ansicht nach würde ein langsameres Tempo Unternehmen mehr Zeit geben, Alignment, Interpretierbarkeit, Tests und die operative Sicherheit zu verbessern.

Amodei kommt zu dem Schluss, dass die potenziellen Vorteile von KI – darunter die Heilung von Krankheiten und die Verbesserung des Lebensstandards – weiterhin real seien. Diese Vorteile setzten jedoch voraus, dass die Technologie sorgfältig entwickelt werde.

Der Originalartikel wurde von CoinCentral veröffentlicht.