За последними предупреждениями людей, создающих искусственный интеллект, скрывается непростой вопрос: если вы считаете, что ваша компания может создавать опасность для общества, каков ваш долг — остаться и изменить ситуацию или уйти и бить тревогу?

Этот вопрос обострился на прошлой неделе, когда бывший исследователь Anthropic и OpenAI Джейкоб Коксон предупредил, что передовые лаборатории мчатся к самоулучшающемуся сверхинтеллекту и «играют с нашими жизнями».

Риск, о котором говорит Коксон, — это рекурсивное самоулучшение: сценарий, при котором системы ИИ начинают совершенствовать себя быстрее, чем их создатели успевают их оценивать или сдерживать. Эта возможность обсуждается в исследованиях ИИ уже десятилетия, а теперь находится в центре внутренних споров о безопасности в самой отрасли.

Коксон — новейший инсайдер в сфере ИИ, который ушел, высказав опасения о том, куда движется технология. Экономист Альберт О. Хиршман известным образом описал выбор, стоящий перед людьми, считающими, что учреждение сбивается с пути, как дилемму «выхода» и «голоса»: уйти или остаться и попытаться изменить ситуацию изнутри — эта концепция была представлена в его книге 1970 года Exit, Voice, and Loyalty. Остаться — значит сохранить доступ и влияние; уйти — получить свободу открыто говорить. Время усложняет оба пути. Чем дольше человек участвует в системе, которую позже сам называет опасной, тем труднее отделить принципиальное несогласие от запоздалого самооправдания.

Перед людьми, которые продолжают руководить передовыми лабораториями, стоит иная версия этой проблемы Генеральный директор Anthropic Дарио Амодей опубликовал эссе на этих выходных, в котором утверждает, что компании в сфере ИИ должны замедлить развитие своих самых мощных моделей, чтобы работа над безопасностью успевала за ними. Однако предлагаемые им ограничения зависят от координации на уровне всей отрасли, а не от односторонних действий Anthropic — признание того, что опасения по поводу безопасности сталкиваются с коммерческой и геополитической конкуренцией. Амодей знает расчет «выхода против голоса» изнутри: в 2021 году он покинул OpenAI, чтобы стать сооснователем Anthropic — лаборатории, изначально построенной вокруг разработки ИИ с упором на безопасность.

В эксклюзивном интервью главному редактору Fortune Элисон Шонтелл генеральный директор OpenAI Сэм Альтман также высказался за сдерживание темпов разработки ИИ и признал, что выход ИИ из-под контроля человека возможен. Он также предположил, что ведущие компании в сфере ИИ обсуждают коллективные действия. Для тех, кто руководит ведущими лабораториями, дилемма смещается от вопроса «оставаться или нет» к вопросу «замедляться или нет». Что означает предупреждение о том, что создаваемая вами технология может стать катастрофически опасной, при продолжении конкуренции за ее наращивание? В какой-то момент предупреждение должно привести к решению о том, что компания реально изменит в своих действиях из-за этого риска.

Альтман сейчас открыто размышляет о том, где проходит эта черта, кто должен устанавливать ограничения и могут ли компании, соревнующиеся в создании самого мощного ИИ, договориться замедлиться вместе. Для читателей главный вопрос — превратятся ли эти обсуждения в конкретные обязательства, которые конкурирующие лаборатории действительно будут соблюдать. Шонтелл настойчиво расспрашивает его об этих вопросах в их обширной беседе, которую можно посмотреть здесь.

Рут Умо — ruth.umoh@fortune.com

Первоначально эта история была опубликована на Fortune.com.