Специалисты по безопасности из США и Китая предложили набор «красных линий», которые запретили бы искусственному интеллекту самостоятельно запускать кибератаки на системы ядерного командования или принимать решение о применении ядерного оружия.

Предложение содержится в недавнем докладе Брукингса, вашингтонского центра политических исследований, и Шанхайского университета Фудань, в котором Вашингтон и Пекин призывают распространить их приверженность человеческому контролю над ядерным оружием на другие военные применения ИИ, включая кибератаки на системы ядерного командования.

«Президенты Дональд Трамп и Си Цзиньпин могут возглавить работу по регулированию этих опасностей, согласившись с тем, что решение о начале кибератаки на системы ядерного командования, управления и связи (NC3) или критическую инфраструктуру друг друга должны принимать только люди, а не ИИ», — написали исследователи.

Системы NC3 помогают правительствам обнаруживать угрозы, решать, применять ли ядерное оружие, и передавать приказы на запуск. Сбой на любом этапе может нарушить связь, привести к ошибочной трактовке атаки, спровоцировать превентивный удар или вызвать случайный либо несанкционированный запуск.

«Распространение принципа, применяемого к ядерному оружию, — что атаки со стратегическими последствиями должны выражать человеческое намерение и подлежать человеческой ответственности, — не требует от Вашингтона и Пекина разделения других принципов кибербезопасности или защиты инфраструктуры», — отметили исследователи.

Согласно предложенному соглашению, обе страны должны будут работать над снижением риска того, что случайность, человеческая ошибка, непредсказуемый ИИ или несанкционированные субъекты спровоцируют атаки со стратегическими последствиями. Авторы также призвали создать «горячую линию» по военному ИИ — прямой канал связи между двумя правительствами — и выработать общее определение человеческого контроля, предупредив, что скорость и непредсказуемое поведение ИИ могут оставить руководителям слишком мало времени, чтобы остановить разрастающийся конфликт.

Призыв к гарантиям по образцу ядерных соглашений является частью растущих дебатов о том, как замедлить развитие ИИ и удерживать всё более мощные системы под человеческим контролем. Особенно остро эта проблема стоит в военной сфере, где автоматизированные решения, принимаемые за миллисекунды, могут превратить ложное предупреждение или кибератаку в ядерный кризис.

Эти опасения подчеркнулись в феврале, когда модели OpenAI, Google и Anthropic применили ядерное оружие в 95% протестированных военных симуляций, хотя эксперты отметили, что сама симуляция могла поощрять эскалацию.

В том же месяце Anthropic отказалась выполнять требования Пентагона снять ограничения Клода на массовую слежку и полностью автономное оружие. Трамп распорядился, чтобы федеральные ведомства прекратили использовать технологии компании, однако 28 августа федеральный судья постановил, что администрация незаконно предприняла ответные меры против Anthropic.

С тех пор призывы к сдержанности распространились по всей отрасли. Ранее в этом месяце генеральный директор Anthropic Дарио Амодеи призвал разработчиков замедлить наращивание возможностей, получив поддержку генерального директора OpenAI Сэма Альтмана и владельца xAI Илона Маска, в то время как OpenAI обратилась в Конгресс с вопросом, могут ли компании скоординировать замедление, не нарушая антимонопольное законодательство.

Поскольку обязывающего замедления нет, авторы доклада Брукингса предлагают более узкое правило: санкционировать атаки на системы ядерного командования или применение ядерного оружия должны только люди. Пока «красные линии» остаются рекомендациями; их реализация зависит от Вашингтона и Пекина.

«Регулирование военного ИИ — это не переговоры, которые могут ждать, — это гонка со временем», — написали они.