Eksperci ds. bezpieczeństwa ze Stanów Zjednoczonych i Chin zaproponowali zestaw czerwonych linii, które zabroniłyby sztucznej inteligencji samodzielnego przeprowadzania cyberataków na systemy dowodzenia nuklearnego lub decydowania o użyciu broni jądrowej.

Propozycja zawarta jest w niedawnym raporcie Brookings, waszyngtońskiej instytucji badawczej, oraz Uniwersytetu Fudan w Szanghaju, który wzywa Waszyngton i Pekin do rozszerzenia zobowiązania do zachowania ludzkiej kontroli nad bronią jądrową na inne wojskowe zastosowania AI, w tym cyberataki na systemy dowodzenia nuklearnego.

„Prezydenci Donald Trump i Xi Jinping mogą przewodzić w zarządzaniu tymi zagrożeniami, zgadzając się, że tylko ludzie, a nie AI, powinni podejmować decyzję o przeprowadzeniu cyberataku na systemy dowodzenia, kontroli i łączności nuklearnej (NC3) lub infrastrukturę krytyczną drugiego kraju” – napisali badacze.

Systemy NC3 pomagają rządom wykrywać zagrożenia, decydować o użyciu broni jądrowej i przekazywać rozkazy odpalenia. Awaria na którymś etapie może zakłócić łączność, doprowadzić do błędnej interpretacji ataku, zachęcić do pierwszego uderzenia lub wywołać przypadkowy albo nieuprawniony odpalenie.

„Rozszerzenie zasady stosowanej wobec broni jądrowej – że ataki o skutkach strategicznych powinny wyrażać ludzką intencję i muszą podlegać ludzkiej odpowiedzialności – nie wymaga, aby Waszyngton i Pekin dzielili inne zasady cyberbezpieczeństwa czy ochrony infrastruktury” – napisali badacze.

Zgodnie z proponowanym porozumieniem oba kraje miałyby pracować nad zmniejszeniem ryzyka, że przypadek, błąd ludzki, nieprzewidywalne AI lub nieuprawnieni podmioty wywoł ataki o konsekwencjach strategicznych. Autorzy zaapelowali także o wojskową gorącą linię AI – bezpośredni kanał komunikacji między oboma rządami – oraz wspólną definicję kontroli człowieka, ostrzegając, że szybkość i nieprzewidywalne zachowanie AI może pozostawić przywódcom niewiele czasu na zatrzymanie eskalującego konfliktu.

Apel o zabezpieczenia wzorowane na nuklearnych wpisuje się w rosnącą debatę o tym, jak spowolnić rozwój AI i utrzymać coraz sprawniejsze systemy pod kontrolą człowieka. Obawa jest szczególnie ostra w wojsku, gdzie automatyczne decyzje podejmowane w milisekundach mogą zamienić fałszywe ostrzeżenie lub cyberatak w kryzys nuklearny.

Ta obawa uwyraźniła się w lutym, gdy modele OpenAI, Google i Anthropic użyły broni jądrowej w 95% testowanych scenariuszy wojennych, choć eksperci zastrzegali, że symulacja mogła sprzyjać eskalacji.

W tym samym miesiącu Anthropic odmówił spełnienia żądań Pentagonu usunięcia ograniczeń Claude'a dotyczących masowej inwigilacji i w pełni autonomicznej broni. Trump nakazał agencjom federalnym zaprzestanie korzystania z technologii firmy, ale 28 sierpnia sędzia federalny orzekł, że administracja działała wobec Anthropic wbrew prawu.

Wezwania do powściągliwości rozprzestrzeniły się następnie w całej branży. Na początku tego miesiącu prezes Anthropic Dario Amodei zaapelował do deweloperów o spowolnienie wzrostu możliwości, zdobywając poparcie prezesa OpenAI Sama Altmana i właściciela xAI Elona Muska, podczas gdy OpenAI zapytało Kongres, czy firmy mogą koordynować spowolnienie bez naruszania prawa antymonopolowego.

Ponieważ brak wiążącego spowolnienia, autorzy z Brookings proponują węższą regułę: tylko ludzie powinni mieć prawo autoryzować ataki na systemy dowodzenia nuklearnego lub użycie broni jądrowej. Czerwone linie pozostają na razie rekomendacjami; ich wprowad w życie zależy od Waszyngtonu i Pekinu.

„Zarządzanie wojskowym AI to nie negocjacje, na które możemy sobie pozwolić czekając – to wyścig z czasem” – napisali.