OpenAI- und Anthropic-CEOs warnen vor dem UN-Sicherheitsrat vor den Risiken von KI
Wichtige Erkenntnisse
- •Die Anhörung im UN-Sicherheitsrat am 23. September 2026 war die erste Ratsitzung, die sich eigens den Sicherheitsrisiken der Frontier-KI widmete und die Debatte in die formale internationale Diplomatie verlagerte.
- •OpenAI-CEO Sam Altman argumentierte, dass Nationen gemeinsame Interessen am Umgang mit mächtigen Technologien haben und dass diese gemeinsamen Interessen – nicht der Wettbewerb – die internationale Koordination verankern sollten.
- •Anthropic-CEO Dario Amodei warnte, dass KI ohne ausreichende Schutzmaßnahmen echte Risiken für die Menschheit bergen könne, im Anschluss an einen Essay vom 12. September, in dem er ein langsamerer Fähigkeitenentwicklung und unabhängige Prüfer der KI forderte.
- •Chinesische KI-Entwickler wurden eingeladen, an der Sitzung teilzunehmen, angesichts der sich ausweitenden Dialogs zwischen den USA und China über die KI-Regulierung, wobei US-Präsident Donald Trump die internationale KI-Koordination öffentlich als Bedrohung für die technologische Führungsrolle Amerikas zurückgewiesen hat.
- •Die Sitzung endete ohne verbindliche Vereinbarungen oder Resolutionen, obwohl der Sicherheitsrat gemäß der UN-Charta die Befugnis hat, Beschlüsse zu fassen, die Mitgliedstaaten binden.

Der Sicherheitsrat der Vereinten Nationen diente seit langem als Ort der Beratungen über existenzielle Bedrohungen – Atomwaffen, Klimawandel, Pandemien. Der Rat ist das UN-Organ, dem die Hauptverantwortung für den internationalen Frieden und die Sicherheit übertragen ist, weshalb seine Agenda ein grober Gradmesser dafür ist, wie Regierungen das globale Risiko gemeinsam einordnen. Am 23. September 2026 fügte er dieser Liste einen neuen Punkt hinzu: künstliche Intelligenz, die möglicherweise über die menschliche Kontrolle hinauswachsen könnte.
Sam Altman, Chief Executive von OpenAI, und Dario Amodei, Chief Executive von Anthropic, erschienen während der jährlichen UN-Generalversammlung vor dem Sicherheitsrat – dem September-Treffen in New York, das Staats- und Regierungschefs an einem Ort versammelt. Beide forderten die Weltführung auf, kooperative Rahmenwerke für die KI-Sicherheit zu schaffen, bevor die Entwicklungskurve der Technologie die Institutionen überholt, die sie regieren sollen.
Was die Manager sagten
Altmans Botschaft drehte sich um gemeinsame Interessen. Er argumentierte, dass Nationen gemeinsame Interessen am Umgang mit mächtigen neuen Technologien hätten und dass diese gemeinsamen Interessen – nicht der Wettbewerb – die Grundlage für internationale Koordination bilden sollten.
Amodei ging weiter und warnte, dass KI echte Risiken für die Menschheit bergen könne, wenn der Entwicklungsprozess nicht über ausreichende Schutzmaßnahmen verfügt. Sein Auftritt bei den UN folgte auf einen Essay vom 12. September, in dem er öffentlich ein gemäßigteres Tempo bei der Entwicklung von KI-Fähigkeiten forderte und sich für unabhängige Prüfer innerhalb der Labore aussprach, die eine Rechenschaft leisten sollen, die interne Teams nicht selbst erbringen können.
Die Sitzung war nicht nur wegen ihrer Rednerliste bedeutsam. Es war die erste Anhörung des UN-Sicherheitsrats, die sich eigens auf die Sicherheitsrisiken der Frontier-KI konzentrierte – der Begriff bezeichnet allgemein die leistungsfähigsten KI-Systeme an der aktuellen Entwicklungsfront – ein Signal, dass die Debatte von akademischen Konferenzen und Silicon-Valley-Podcasts in die Mechanik der formalen internationalen Diplomatie vorgedrungen ist.
Weitere prominente Stimmen beteiligten sich an der Diskussion. Clément Delangue, CEO von Hugging Face, nahm gemeinsam mit Yoshua Bengio teil, einem der grundlegenden Forscher des modernen Deepings und einem konsequenten Verfechter von Vorsicht in der KI-Entwicklung. Auch chinesische KI-Entwickler waren eingeladen, sich zu beteiligen – ein bemerkenswertes Detail angesichts der geopolitischen Spannungen, die sich durch die gesamte Diskussion ziehen.
Diplomatie, Meinungsverschiedenheiten und rekursive Selbstverbesserung
Das spezifische Risiko, das viele Beiträge der Sitzung prägte, war die rekursive Selbstverbesserung: die Möglichkeit, dass fortschrittliche KI-Systeme ihre eigenen Fähigkeiten iterativ in einer Weise ausbauen könnten, die eine aussagekräftige menschliche Aufsicht übersteigt.
Das Treffen fügt sich zudem in einen breiteren diplomatischen Moment ein. Der Dialog zwischen den USA und China über die Regulierung von KI wird still ausgebaut, und die Einbindung chinesischer Entwickler in die UN-Sitzung spiegelte den Versuch wider, die Diskussion wirklich global zu gestalten und nicht zu einer westlichen Standardsetzungsübung zu verkommen zu lassen, die sich als Multilateralismus verkleidet.
Dieser Versuch sieht sich einem direkten politischen Gegenwind ausgesetzt. US-Präsident Donald Trump hat öffentlich zurückgewiesen, was er als globalistisches Schema zur Kontrolle von KI bezeichnete – eine Deutung, die internationale Koordination als Bedrohung für die technologische Führungsrolle Amerikas darstellt und nicht als Mechanismus zum Umgang mit gemeinsamen Risiken.
Bengios Präsenz verlieh der Debatte eine weitere Dimension. Er agiert außerhalb des kommerziellen KI-Ökosystems und hat keine Produkt-Roadmap zu schützen. Seine Teilnahme an der Seite der CEOs von OpenAI und Anthropic signalisiert eine seltene Konvergenz zwischen akademischen Sicherheitsforschern und Industrievertretern hinsichtlich der Notwendigkeit internationaler Mechanismen.
Was nun kommt
Die Sitzung des Sicherheitsrats führte zu keinen verbindlichen Vereinbarungen oder formellen Resolutionen. Dieser Unterschied ist wichtig: Nach der UN-Charta können Resolutionen des Sicherheitsrats für Mitgliedstaaten verbindliche Kraft entfalten, was formelle Ratsmaßnahmen zu einem der stärksten availablen Hebel der internationalen Governance macht.
Für OpenAI und Anthropic im Besonderen ist die Fürsprache für globale Standards ein zweischneidiges Schwert. Einerseits enden branchennahe Unternehmen, die an der Gestaltung internationaler Rahmenwerke mitwirken, häufig mit Standards, die ihre bestehenden Praktiken widerspiegeln – ein Wettbewerbsvorteil. Andererseits würde jedes ernsthafte multilaterale Regime wahrscheinlich die Art unabhängiger Evaluierung und Aufsicht mit sich bringen, die Amodei in seinem Essay vom 12. September beschrieb, und damit operativen Widerstand erzeugen, der heute nicht existiert.
Jedes internationale KI-Sicherheitsrahmenwerk, das China ausschließt, ist per Definition unvollständig, angesichts des Umfangs der chinesischen KI-Entwicklung. Die Einbindung Chinas bedeutet jedoch Verhandlungen über grundlegend unterschiedliche Regulierungsphilosophien und politische Systeme hinweg.