Veiligheidsdeskundigen uit de Verenigde Staten en China hebben een reeks rode lijnen voorgesteld die kunstmatige intelligentie verbieden om onafhankelijk cyberaanvallen uit te voeren op nucleaire commandosystemen of om te besluiten kernwapens in te zetten.

Het voorstel staat in een recent rapport van Brookings, een in Washington, D.C. gevestigde beleidsonderzoeksinstitutie, en de Fudan-universiteit in Shanghai, dat Washington en Beijing oproept hun inzet voor menselijke controle over kernwapens uit te breiden naar andere militaire toepassingen van AI, waaronder cyberaanvallen op nucleaire commandosystemen.

"Presidenten Donald Trump en Xi Jinping kunnen een leidende rol spelen bij het beheersen van deze gevaren door overeen te komen dat alleen mensen, en niet AI, de beslissing moeten nemen om een cyberaanval te starten op elkaars nucleaire commando-, controle- en communicatiesystemen (NC3) of kritieke infrastructuur", schreven de onderzoekers.

NC3-systemen helpen regeringen dreigingen te detecteren, te beslissen of kernwapens moeten worden ingezet en lanceerbevelen te verzenden. Storingen in welke fase dan ook kunnen de communicatie verstoren, tot een verkeerde interpretatie van een aanval leiden, een eerste slag aanmoedigen of een accidentele of ongeautoriseerde lancering veroorzaken.

"Het uitbreiden van het principe dat bij kernwapens geldt — dat aanvallen met strategische effecten menselijke opzet moeten weerspiegelen en onder menselijke verantwoordingsplicht moeten vallen — vereist niet dat Washington en Beijing andere principes delen op het gebied van cybersecurity of infrastructuurbescherming", schreven de onderzoekers.

Op basis van het voorgestelde akkoord zouden beide landen werken aan het verkleinen van het risico dat toeval, menselijke fouten, onvoorspelbare AI of ongeautoriseerde actoren aanvallen met strategische gevolgen uitlokken. De auteurs bevalen tevens een militaire AI-hotline aan — een direct communicatiekana tussen beide regeringen — en een gedeelde definitie van menselijke controle, met de waarschuwing dat de snelheid en het onvoorspelbare gedrag van AI leiders weinig tijd kunnen laten om een escalerend conflict te stoppen.

De oproep om nucleaire waarborgen maakt deel uit van een groeiende discussie over hoe de AI-ontwikkeling kan worden vertraagd en steeds capabelere systemen onder menselijke controle kunnen worden gehouden. De zorg is vooral acuut in het leger, waar geautomatiseerde beslissingen in milliseconden een vals alarm of een cyberaanval kunnen doen uitgroeien tot een nucleaire crisis.

Die zorg werd in februari onderstreept, toen modellen van OpenAI, Google en Anthropic in 95% van de geteste oorlogssimulaties kernwapens gebruikten, alwaar experts erop wezen dat de simulatie escalatie in de hand kan hebben gewerkt.

In dezelfde maand weigerde Anthropic aan de eisen van het Pentagon te voldoen om de beperkingen van Claude op massasurveillance en volledig autonome wapens op te heffen. Trump beval federale instanties te stoppen met het gebruik van de technologie van het bedrijf, maar een federale rechter oordeelde op 28 augustus dat de regering onwettig retorsie had toegepast tegen Anthropic.

Sindsdien hebben oproepen tot terughoudendheid zich over de hele sector verspreid. Eerder deze maand riep Anthropic-topman Dario Amodei ontwikkelaars op de groei van capaciteiten te vertragen, met steun van OpenAI-topman Sam Altman en xAI-eigenaar Elon Musk, terwijl OpenAI het Congres vroeg of bedrijven een vertraging konden coördineren zonder de mededingingswet te overtreden.

Zonder een bindende vertraging stellen de Brookings-auteurs een beperktere regel voor: alleen mensen mogen aanvallen op nucleaire commandosystemen of het gebruik van kernwapens autoriseren. De rode lijnen zijn voorlopig aanbevelingen; de uitvoering ervan ligt bij Washington en Beijing.

"Het beheer van militaire AI is geen onderhandeling die kan wachten — het is een race tegen de klok", schreven zij.