НовостиМакроДарио Стрейнджлав: тревога перед судным днём ИИ повторяет ядерные страхи холодной войны

Дарио Стрейнджлав: тревога перед судным днём ИИ повторяет ядерные страхи холодной войны

Автор: Fortune Crypto·

Ключевые выводы

  • •Гендиректор Anthropic Дарио Амодеи 12 сентября опубликовал эссе на 3800 слов, призывающее замедлить наращивание возможностей ИИ; он назвал риски — потерю контроля, кибератаки и биотерроризм — и предложил внешний мониторинг, координацию лабораторий и международное сотрудничество.
  • •В конце сентября Reuters сообщила, что проспект планируемого IPO Anthropic предупреждает, что её технология может представлять катастрофический риск для человечества.
  • •Режиссёр Джеймс Кэмерон в августе 2025 года заявил, что всё ещё боится апокалипсиса в стиле «Терминатора» при соединении ИИ с системами вооружений — страх, восходящий к его детским впечатлениям от кубинского ракетного кризиса.
  • •Профессор Джорджтауна и колумнист New Yorker Кал Ньюпорт назвал в подкасте Prof G Markets риторику судного дня ИИ в Кремниевой долине «оружием массовой тревоги», созданным идеологическим сообществом, повторяющим одно и то же 15 лет.
  • •Профессор Принстона Арвинд Нараянан в эссе «AI as Normal Technology» утверждает, что ИИ похож на прежние трансформационные технологии и управляем существующими методами, тогда как некоторые в отрасли оценивают вероятность вымирания человечества из-за ИИ в 10%.
Дарио Стрейнджлав: тревога перед судным днём ИИ повторяет ядерные страхи холодной войны

Мы с женой возвращаемся к классике престижного телевидения — сначала «Американцы», теперь «Безумцы». Сегодня оба сериала читаются не столько как портреты изображаемых эпох — 1980-х и 1960-х годов, — сколько как зеркало момента, в котором мы всё ещё находимся. Больше всего меня поразил финал второго сезона эпопеи AMC о пропитанном алкоголем Мэдисон-авеню: настроение — ощущение, что живёшь накануне гибели, чувство, длящееся уже 75 лет и не думающее останавливаться.

В той серии — «Размышления в чрезвычайных обстоятельствах» — Дон Дрейпер смотрит по телевизору, как Кеннеди объявляет о советских ракетах на Кубе. Герои прикидывают, где им лучше быть, если начнётся война. Джоан заговаривает о гражданской обороне — Дон отмахивается. Чисто сюжетно кризис ничего не меняет: один критик назвал его умной декорацией, другой — приёмом, вынуждающим героев столкнуться с тем, что уже заложено в них самих. Дон только что вернулся из очередного «исчезновения», а ужас возможного уничтожения умеет заставлять людей странно себя вести.

Дебаты о безопасности ИИ отличаются по существу, но пробуждают ту же тревогу, которую общество не может стряхнуть со времён наших дедов. Что происходит с обществом, которому снова и снова говорят, что конец близок?

Подвал каждого поколения

Я помню это даже с детства в 1980-е. Берлинская стена пала, когда мне было 6 лет, а угроза ядерного противостояния была вшита в окружавшую культуру. Для этого не требовалась прямота «Eve of Destruction» Барри Макгуайра. Я слышал её в «Subterranean Homesick Blues» Боба Дилана, где Джонни в подвале, а рассказчик стоит на тротуаре и думает о правительстве. Мне тот подвал слышался бомбоубежищем, хотя вечно уклончивый Дилан, возможно, отдавал дань «андеграундной»уре битничества 1950-х — сцене, ответственной как минимум за одну цитату Джека Керуака в каждом школьном ежегоднике.

(Звуковая дорожка «Американцев», напротив, была куда сильнее пропитана Питером Гэбриэлом — прежде всего песней «Games Without Frontiers», чей персонаж «Willy» может быть отсылкой к западногерманскому канцлеру Вилли Брандту. Название песни — английский перевод Jeux Sans Frontières, европейской телеигры, где команды из разных стран в нелепых костюмах состязались в абсурдных заданиях; французскую фразу в бэк-вокале исполняла Кейт Буш.)

Битники, в свою очередь, отталкивались от французских экзистенциалистов — движения, осмыслявшего безбожную вселенную в эпоху бомбы. А «Оппенгеймер», один из определяющих блокбастеров Кристофера Нолана 2020-х, драматизирует сам момент рождения всей этой культуры.

Немудрено, что один из самых влиятельных в научной фантастике нарративов о судном дне ИИ — «Терминатор» 1984 года — создал мастер экшена Джеймс Кэмерон, который часто вспоминает, как в 8 лет наблюдал по телевизору кубинский ракетный кризис и листал отцовские брошюры о бомбоубежищах. В августе 2025 года Кэмерон рассказал Rolling Stone, что до сих пор боится апокалипсиса в духе «Терминатора» — когда ИИ соединят с системами вооружений, вплоть до ядерных арсеналов и ответно-встречного ядерного удара.

Насколько последний акт американского апокалипсиса — наследие Кэмерона?

У кого бомба

Комедия Стэнли Кубрика 1964 года «Доктор Стрейнджлав, или Как я перестал бояться и полюбил бомбу» представила генерала-одиночку, отдающего приказ о несанкционированном ударе, пока Военная комната мечется, чтобы предотвратить катастрофу. Её шутка: машина, созданная предотвратить конец света, сама могла его принести. «Digger», мегабомба этого года с Томом Крузом, кажется сознательной попыткой воспроизвести гиперэнергию «Доктора Стрейнджлава» — правда, её климатическая тема выглядит неуместной: настоящий параллелизм с искусственным интеллектом.

Новая книга Кевина Руса «The AGI Chronicles» — AGI означает искусственный общий интеллект, гипотетическую веху, на которой системы ИИ смогут match человеческие возможности в большинстве когнитивных задач, — изображает гендиректора Anthropic Дарио Амодеи, чья компания создала чат-бота Claude, человеком, одержимым атомными вопросами риска и опасности. Амодеи раньше дарил каждому новому сотруднику Anthropic экземпляр любимой книги «The Making of the Atomic Bomb». В книге также сообщается, что личный герой Амодеи — Лео Силард, учёный, придумавший ядерную цепную реакцию — к собственному ужасу, — а позже составивший письмо Эйнштейна Рузвельту 1939 года, которое помогло привести к Манхэттенскому проекту. Так ли искренне Амодеи поклоняется Силарду, что сознательно повторяет его шаги?

12 сентября Амодеи опубликовал эссе на 3800 слов под названием «We Must Pace the Frontier». «Мы должны замедлитьп, с которым мы наращиваем возможности моделей ИИ», — написал он. Он назвал риски: потеря контроля над системами ИИ, злоупотребления для кибератак и биотерроризма — и предложил внешний мониторинг, координацию между лабораториями и международное сотрудничество. В конце сентября Reuters сообщила о проспекте планируемого IPO Anthropic, где предупреждается, что её технология может представлять «катастрофический или экзистенциальный риск для человечества» — странный выбор для финансовой раскрытия, учитывая, что без людей рынок просто не существует.

Кал Ньюпорт, колумнист New Yorker и профессор компьютерных наук Джорджтаунского университета, недавно описал этот образ мышления Эду Элсону в подкасте Prof G Markets как «оружие массовой тревоги». Разговоры о судном дне ИИ, исходящие из Кремниевой долины, — по его словам, в основном продукт идеологического сообщества, повторяющего одно и то же 15 лет. В его изложении OpenAI, Anthropic и их самые громкие критики ведут «семейную ссору» о том, готов ли мир к ИИ-«богу», а многие их концепции — включая рекурсивное самоулучшение — взяты прямо из футурологической теории, а не из компьютерных наук.

Настоящие волки

Справедливости ради, не всё выдумали паникёры прошлого. Джанан Ганеш, колумнист Financial Times, которого я уважаю и часто читаю, высказал эту мысль в колонке от 10 октября под названием «Опасность усталости от пессимизма». Паники прошлых лет, писал он, «основывались на крупных, конкретных событиях: размещение ракет «Першинг», 11 сентября, коронавирус». Он проходит по тем же страхам, с которыми рос я: ядерное уничтожение в 1980-е, потом «Аль-Каида», потом пандемия. И начинает он с цифры, висящей над всей этой дискуссией: 10% вероятность, по мнению некоторых в отрасли, того, что ИИ вызовет вымирание человечества.

Однако по собственному признанию Ганеша, тревога почти каждый раз обгоняла угрозу. «Оказалось, холодная война заканчивалась, а не разгоралась», — написал он, а о «Аль-Каиде»: «Угроза не была выдумкой, но и экзистенциальной не была никогда».

Есть и серьёзный аргумент, что ИИ-волк переодет не в тот костюм. Арвинд Нараянан, профессор компьютерных наук Принстона, возглавляющий университетский Центр информационной политики, написал вместе с коллегой Саяшем Капуром влиятельное эссе «AI as Normal Technology». Они утверждают, что ИИ во многом похож на прежние революционные технологии — а значит, у нас уже есть дорожная карта, как им управлять.

На прошлой неделе в подкасте Эзры Кляйна, в выпуске «Intelligence Isn't Power», Нараянан и Кляйн спорили, сопоставим ли ИИ с «электричеством, интернетом, велосипедом» или скорее «с чуждым разумом». «Рои» агентов опасны, argued Нараянан, — но опасны были и компьютерные «черви», вирусы в своё время; понадобились инновации, чтобы держать их под контролем. Тот же аргумент можно распространить на ядерные технологии и нераспространение.

Джеймсу Кэмерону было 8, когда он смотрел Кеннеди по телевизору. Мне было 6, когда рухнула Стена Где-то ребёнок того же возраста слышит, что машины могут уничтожить мир, — и слышит это от людей, которые эти машины строят.

Кэмерону понадобилось 22 года, чтобы превратить Кубу в Скайнет. Вернёмся к этому в 2048-м. А остальным нам, боюсь, предстоит привыкнуть к жизни под тенью бомбы — снова.

Эта история изначально была опубликована на Fortune.com.