Marginal Revolution опровергает довод сторонников безопасности ИИ о том, что захват власти ИИ произойдёт без предупреждения
Ключевые выводы
- •Marginal Revolution — экономический блог, который ведут экономисты Университета Джорджа Мейсона Тайлер Коуэн и Алекс Табаррок, — опубликовал эту критику 14 августа под заголовком «Adding to the barrel of finance fallacies».
- •Главное возражение автора состоит в том, что утверждение о захвате власти ИИ до того, как кто-либо успеет забеспокоиться, подрывает само себя: человек, который его выдвигает, уже является человеком, тревожащимся именно об этом исходе.
- •В посте утверждается, что такая позиция равносильна приписыванию себе почти оракульской прозорливости при предположении, что остальные люди и рынки проигнорируют накапливающиеся предупреждающие признаки, такие как киберинциденты.
- •В ответ на возражения главы исследовательского направления 80,000 Hours Роба Уиблина автор утверждал, что любой, кто ожидает катастрофы в течение десятилетия, должен покупать пут-опционы, не нуждаясь ни в контрактах на десять лет, ни в точном выборе момента, а незнание того, какие акции шортить, говорит о том, что риск на самом деле не системный.
- •Пост завершился отступлением к теме мотивов, о чём автор сам предупреждает: он вообразил, что сторонники безопасности ИИ цепляются за драматичные страхи, потому что будничные риски вроде $100 млрд дополнительных затрат на кибербезопасность кажутся им слишком технократичными и менее пригодными в качестве социального клея для их группы.
Marginal Revolution — экономический блог, который на протяжении многих лет ведут экономисты Университета Джорджа Мейсона Тайлер Коуэн и Алекс Табаррок, — взял на прицел привычный аргумент, бытующий среди сторонников безопасности ИИ, добавив его к тому, что автор называет растущей коллекцией финансовых заблуждений.
Дискуссия началась в X, где один из участников заметил, что «многие (большинство? почти все?) плохие сценарии содержат промежуточные точки серьёзной тревоги и катастрофы». Ответ отклонил эту предпосылку с порога: «Не в моей модели. К тому времени, как хоть какие-нибудь люди начнут беспокоиться о захвате власти или собственной гибели, ИИ уже будут контролировать всю инфраструктуру». (исходный пост)
Публикуясь 14 августа в Marginal Revolution, автор отмечает, что эта линия рассуждений — о том, наступит ли ИИ-катастрофа с видимыми предупредительными сигналами или без них, — возникает часто и «является ещё одним примером плохого „довода о безопасности ИИ“, который не выдерживает критики».
Главное возражение состоит в том, что автор утверждения опровергает его сам. «Он и есть человек, уже обеспокоенный захватом власти или гибелью!» — отмечается в посте. Автору кажется странным одновременно полагать, что «я вижу приближение этих проблем», и считать, что «по мере того как эти проблемы множатся и становятся достоянием общественности — скажем, через киберинциденты, — другие люди, как и рынки, об этом не догадаются».
Такая позиция, по аргументации автора, равносильна «приписыванию себе поразительного, оракулоподобного эпистемического статуса — и практически никому больше». Критику заостряют два последующих вопроса: «Если предстоящие данные никого другого не убедят в вашей точке зрения, почему вы держитесь за неё столь твёрдо? Или, если вы считаете, что финальная развязка будет настолько внезапной и скрытной, откуда вам сейчас так хорошо известно будущее?» Вердикт автора: «всё это очевидно абсурдно, пусть и не самопротиворечиво в узком логическом смысле».
В отдельном отступлении автор оценивает логику хеджирования от катастрофы с помощью пут-опционов — контрактов, которые дорожают при падении базового актива: «если мир действительно внезапно закончится, а вы купили путы из своих сбережений, но не сможете их обналичить, вы всё равно погибнете, так и не снизив свой реальный уровень потребления».
Далее пост разбирает контраргументы, выдвинутые Робом Уиблином — главой исследовательского направления организации 80,000 Hours, некоммерческого проекта эффективного альтруизма в сфере карьерных консультаций, включившего безопасность ИИ в число приоритетных областей, — который «выкатывает целый ворох возражений из секции комментариев MR, которые легко опровергнуть». (пост Уиблина) На возражение, что незнание того, какие акции шортить, и есть «большая проблема», автор отвечает: «тогда риск не настолько системный». Тот, кто считает, что «мир увидит некоторые значительные катастрофические события в ближайшие десять лет», притом что свидетельства «накапливаются», должен покупать путы, даже не будучи уверенным в сроках, — и, добавляет он, «вам не нужны опционные контракты сроком на десять лет». Исходя из этой логики, «сторонникам безопасности ИИ с относительно крайними взглядами стоило бы стараться распространять эти доводы среди своих последователей, а не списывать их со счетов».
Материал завершается отступлением в тему мотивов, о чём автор сам предупреждает. Хотя автор «не поклонник психоанализа как метода разбора взглядов», наблюдение, что «число и размах очевидных прямых ошибок по этой теме (причём со стороны очень умных людей) так велики, что невольно задаёшься вопросом», подталкивает его к воображаемому обоснованию: «$100 млрд дополнительных затрат на кибербезопасность — недостаточно серьёзная тревога: это слишком буднично, слишком малая доля ВВП, слишком обычная и технократическая проблема… Вы не отнимете у меня мой больший и более драматичный страх! Я не позволю вам этого! И к тому же этот взгляд — социальный клей, который скрепляет мою внутреннюю группу».
Пост под заголовком «Adding to the barrel of finance fallacies» («Добавляя к бочке финансовых заблуждений») опубликован на Marginal Revolution.
