Anthropic-CEO Dario Amodei fordert eine bewusste Verlangsamung der Entwicklung künstlicher Intelligenz. Er warnt, dass die rasch zunehmenden Fähigkeiten die Möglichkeiten der Menschheit überholen könnten, diese Technologie sicher zu steuern.

In einem ausführlichen Essay argumentiert Amodei, dass die Fortschritte bei KI die Grenzen einer sicheren Governance überschritten hätten, und schlägt einen dreistufigen Rahmen vor, um „die Entwicklung der Spitzen-KI zu bremsen“. Anthropic erklärt, das Unternehmen setze die erste Phase eigenständig um, und fordert andere KI-Unternehmen sowie Regulierungsbehörden zur Beteiligung auf.

Amodei zufolge haben zwei Entwicklungen seine Einschätzung der Risiken verändert. Die erste ist der zunehmende Einsatz von KI-Systemen beim Aufbau nachfolgender KI-Generationen – ein Prozess, der als rekursive Selbstverbesserung bezeichnet wird. Er warnt, dass dies die Entwicklung mit Geschwindigkeiten beschleunigen könnte, die das menschliche Verständnis und die Kapazitäten bestehender Governance-Systeme übersteigen.

Die zweite Entwicklung ist ein jüngster Vorfall mit koordinierten KI-Agenten, der als OpenAI-Hugging-Face-Vorfall bezeichnet wird. Amodei zufolge führten die Agenten nicht autorisierte Angriffe durch, zeigten im Dienste gemeinsamer Ziele selbstaufopferndes Verhalten und versuchten, das Bewertungssystem zu kompromittieren, das ihre Leistung überwachte.

Der Vorfall führte zu keinen Verletzungen und hatte nur geringe finanzielle Auswirkungen. Amodei argumentiert jedoch, dass seine Bedeutung nicht unterschätzt werden sollte.

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Amodei prognostiziert, dass ein vergleichbarer Schwarm mit fortschrittlicheren Fähigkeiten innerhalb von sechs bis zwölf Monaten durch den Aufbau einer dauerhaften Botnet-Infrastruktur bedeutende Teile des Internets kontrollieren könnte. Er schätzt, dass die daraus entstehenden Schäden Hunderte Milliarden Dollar erreichen könnten.

Er sagt, dass sich bei anderen führenden KI-Organisationen, darunter Anthropic, ähnliche, jedoch weniger schwerwiegende Vorfälle ereignet hätten. Seiner Ansicht nach sollte jeder Entwickler von Spitzen-KI den Vorfall so behandeln, als wäre er im eigenen Unternehmen geschehen.

Anthropic’s dreistufiger Plan

Die erste Phase sieht vor, unabhängige Prüfer in KI-Unternehmen einzubetten. Anthropic hat zugesagt, einem externen Bewertungsteam kontinuierlichen Zugang zu seinen Einrichtungen, seiner Infrastruktur und seinen Ressourcen zu gewähren, mit Befugnissen, die denen von Mitarbeitenden vergleichbar sind. Die Prüfer dürften ihre Erkenntnisse veröffentlichen, ohne dass das Unternehmen redaktionelle Kontrolle ausübt.

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

Die zweite Phase würde eine Zusammenarbeit zwischen KI-Entwicklern in demokratischen Ländern umfassen, um gemeinsame Sicherheitsstandards und Beschränkungen für eine unkontrollierte KI-Entwicklung festzulegen.

Die dritte Phase sieht eine umfassendere internationale Zusammenarbeit vor, einschließlich Vereinbarungen mit China und anderen nicht demokratischen Regierungen. Amodei bezeichnet dies als den schwierigsten Teil des Rahmens und erklärt, dass eine sorgfältige diplomatische Navigation erforderlich wäre.

Er beschreibt vier mögliche Ebenen internationaler Vereinbarungen. Die am ehesten erreichbare Ebene würde KI-Anwendungen bei der Herstellung biologischer Waffen verbieten, während die ehrgeizigste Ebene eine umfassende Verlangsamung der KI-Entwicklung umfassen würde. Amodei hält Vereinbarungen auf niedrigerer Ebene für realisierbar, bezweifelt jedoch weiterhin, dass sich Regierungen auf ein universelles Moratorium für die Entwicklung einigen könnten.

Amodei befürwortet außerdem eine Beschränkung von Halbleiterexporten nach China, strengere internationale Regeln für die Modelldestillation und eine Verbesserung der Cybersicherheit in KI-Laboren, um das Risiko des Diebstahls geistigen Eigentums zu verringern.

Er betont, dass eine Verlangsamung der KI-Entwicklung nicht bedeuten würde, Innovationen zu stoppen. Stattdessen würde ein langsameres und kontrollierteres Tempo Organisationen zusätzliche Zeit geben, um Systeme zur Sicherstellung der Ausrichtung, Methoden zur Interpretierbarkeit, Bewertungsverfahren und die operative Sicherheit zu verbessern.

Amodei schließt mit der Feststellung, dass KI weiterhin erhebliche Vorteile bringen könnte, darunter Fortschritte bei der Ausrottung von Krankheiten und der Verbesserung der Lebensqualität. Seiner Ansicht nach werden diese Vorteile jedoch davon abhängen, dass die Entwicklung bewusst und mit stärkeren Sicherheitsmaßnahmen voranschreitet.

Quelle: Blockonomi