US- und chinesische Experten schlagen rote Linien vor, um KI aus Atomentscheidungen herauszuhalten
Wichtige Erkenntnisse
- •Ein gemeinsamer Bericht von Brookings und der Fudan-Universität schlägt rote Linien vor, die KI untersagen, eigenständig Cyberangriffe auf Kommando-, Kontroll- und Kommunikationssysteme (NC3) von Atomwaffen zu starten oder über deren Einsatz zu entscheiden.
- •Die Forscher riefen die Präsidenten Trump und Xi Jinping dazu auf, sich darauf zu verständigen, dass nur Menschen – nicht KI – Angriffe auf die NC3-Systeme oder kritische Infrastruktur des jeweils anderen autorisieren dürfen.
- •Die Autoren empfahlen zudem eine militärische KI-Hotline zwischen beiden Regierungen und eine gemeinsame Definition menschlicher Kontrolle, unter Verweis auf die Geschwindigkeit und das unbestimmte Verhalten von KI.
- •Im Februar setzten Modelle von OpenAI, Google und Anthropic in 95 % der getesteten Kriegssimulationsszenarien Atomwaffen ein, was die Sorge unterstreicht, dass automatisierte Entscheidungen eine falsche Warnung zu einer Atomkrise eskalieren lassen könnten.
- •Die vorgeschlagenen roten Linien sind weiterhin Empfehlungen; ihre Umsetzung läge bei Washington und Peking.
Sicherheitsexperten aus den USA und China haben eine Reihe roter Linien vorgeschlagen, die es künstlicher Intelligenz untersagen sollen, eigenständig Cyberangriffe auf Atomkommandosysteme zu starten oder über den Einsatz von Atomwaffen zu entscheiden.
Der Vorschlag stammt aus einem aktuellen Bericht der in Washington, D.C. ansässigen politikwissenschaftlichen Forschungseinrichtung Brookings und der Fudan-Universität in Shanghai, der Washington und Peking auffordert, ihr Bekenntnis zur menschlichen Kontrolle über Atomwaffen auf andere militärische KI-Anwendungen auszuweiten, einschließlich Cyberangriffe auf Atomkommandosysteme.
„Die Präsidenten Donald Trump und Xi Jinping können bei der Beherrschung dieser Gefahren eine Führungsrolle übernehmen, indem sie sich darauf verständigen, dass nur Menschen – nicht KI – die Entscheidung treffen sollten, einen Cyberangriff auf die Kommando-, Kontroll- und Kommunikationssysteme (NC3) des jeweiligen Gegners oder auf kritische Infrastruktur zu starten“, schrieben die Forscher.
NC3-Systeme helfen Regierungen, Bedrohungen zu erkennen, über den Einsatz von Atomwaffen zu entscheiden und Startbefehle zu übermitteln. Ausfälle in jeder Phase könnten Kommunikationen stören, dazu führen, dass ein Angriff falsch gedeutet wird, einen Erstschlag begünstigen oder einen versehentlichen oder unbefugten Start auslösen.\n„Die Ausweitung des für Atomwaffen geltenden Grundsatzes – dass Angriffe mit strategischen Auswirkungen menschliche Absicht zum Ausdruck bringen und der menschlichen Verantwortlichkeit unterliegen müssen – erfordert nicht, dass sich Washington und Peking andere Grundsätze in Sachen Cybersicherheit oder Infrastrukturschutz teilen“, schrieben die Forscher.
Nach dem vorgeschlagenen Abkommen würden beide Länder daran arbeiten, das Risiko zu verringern, dass Zufall, menschliches Versagen, unvorhersehbare KI oder unbefugte Akteure Angriffe mit strategischen Folgen auslösen könnten. Die Autoren forderten zudem eine militärische KI-Hotline – einen direkten Kommunikationskanal zwischen beiden Regierungen – sowie eine gemeinsame Definition menschlicher Kontrolle und warnten, dass die Geschwindigkeit und das unbestimmte Verhalten von KI Führungskräften kaum Zeit lassen könnten, einen eskalierenden Konflikt zu stoppen.
Der Aufruf zu atomwaffenähnlichen Schutzmaßnahmen ist Teil einer wachsenden Debatte darüber, wie sich die KI-Entwicklung verlangsamen und immer leistungsfähigere Systeme unter menschlicher Kontrolle halten lassen. Die Sorge ist im Militärbereich besonders akut, wo automatisierte Entscheidungen in Millisekunden eine falsche Warnung oder einen Cyberangriff in eine Atomkrise verwandeln könnten.
Diese Sorge wurde im Februar unterstrichen, als Modelle von OpenAI, Google und Anthropic in 95 % der getesteten Kriegssimulationsszenarien Atomwaffen einsetzten, wobei Experten darauf hinwiesen, dass die Simulation möglicherweise zur Eskalation ermutigt haben könnte.
Im selben Monat lehnte Anthropic die Forderung des Pentagons ab, die Beschränkungen von Claude für Massenüberwachung und vollautonome Waffen aufzuheben. Trump wies Bundesbehörden an, die Technologie des Unternehmens nicht mehr zu nutzen, doch ein Bundesrichter entschied am 28. August, dass die Regierung sich illegal gegen Anthropic vergolten hatte.
Die Aufrufe zur Zurückhaltung haben sich seitdem in der gesamten Branche verbreitet. Anfang dieses Monats appellierte Anthropic-CEO Dario Amodei an Entwickler, den Zuwachs an Fähigkeiten zu verlangsamen und erhielt Unterstützung von OpenAI-CEO Sam Altman und xAI-Eigentümer Elon Musk, während OpenAI den Kongress fragte, ob Unternehmen eine Verlangsamung koieren könnten, ohne gegen Kartellrecht zu verstoßen.
Da keine verbindliche Verlangsamung in Kraft ist, schlagen die Brookings-Autoren eine engere Regel vor: Nur Menschen sollten befugt sein, Angriffe auf Atomkommandosysteme oder den Einsatz von Atomwaffen zu autorisieren. Die roten Linien sind vorerst Empfehlungen; ihre Umsetzung läge bei Washington und Peking.
„Die Governance militärischer KI ist keine Verhandlung, die warten kann – es ist ein Wettlauf gegen die Zeit“, schrieben sie.
