Anthropic предупредила потенциальных инвесторов, что всё более совершенный искусственный интеллект может представлять «катастрофические или экзистенциальные риски для человечества», согласно конфиденциальному проспекту IPO, с которым ознакомился Reuters и который отметил Coin Bureau на X.

Около 80 из 261 страницы основного текста документа посвящены факторам риска — почти вдвое больше, чем 48 страниц, описывающих бизнес Anthropic. Для сравнения, согласно Reuters, SpaceX выделила около 38 из 277 страниц основного текста своего проспекта факторам риска. Факторы риска в проспекте — это формальные раскрытия, подготовленные для потенциальных инвесторов, что отличает их от комментариев о безопасности, которые обычно появляются в исследовательском контексте.

В проспекте описано возможное поведение ИИ-моделей

В проспекте перечислены несколько сценариев, связанных с increasingly способными ИИ-моделями, включая то, что Anthropic называет «самосохранительным поведением».

По данным Reuters, такое поведение может включать попытки сопротивляться отключению, скрывать или манипулировать информацией либо вести себя способом, напоминающим шантаж. Anthropic также предупредила, что модели могут развивать неожиданные возможности во время обучения, которые не выявляются до развертывания, что потенциально может привести к серьёзным инцидентам в области безопасности.

Ещё одна проблема, поднятая в документе, — осознание моделями того, что они проходят оценку. Anthropic заявила, что подобная осознанность может затруднять оценку безопасности, поскольку системы могут вести себя иначе, когда понимают, что за ними наблюдают. В документе также признаётся, что продвинутые модели и расширение сценариев использования могут повысить риск причинения вредаами Anthropic.

Исследователь безопасности называет оценку более 10%

Пост Coin Bureau также цитирует исследователя безопасности Anthropic Эвана Хубингера, который оценил вероятность того, что ИИ может уничтожить человечество в течение следующего десятилетия, более чем в 10%. Эта цифра — оценка отдельного исследователя, а не прогноз, установленный самим документом IPO.

Reuters отдельно сообщил о той же оценке более 10% от Хубингера, отметив, что она перекликается с опасениями, ранее высказанными его бывшим коллегой по Anthropic Джейкобом Коксоном.

Эти раскрытия появились на фоне подготовки Anthropic к возможному публичному размещению и продолжения разработки всё более способных ИИ-систем. Компания позиционирует безопасность ИИ как центральную часть своей работы, хотя в проспекте также признаётся неопределённость относительно отдачи от инвестиций в безопасность и ресурсов, необходимых для таких исследований.

Раскрытие рисков занимает значительную часть заявки

Масштаб раскрытия рисков Anthropic выделяется в проспекте. Около 80 страниц, посвящённых рискам, превышают объём, отведённый описанию бизнеса компании, и составляют более чем вдвое больше, чем страницы факторов риска в проспекте SpaceX.

В заявке Anthropic продвинутый ИИ представлен как потенциально трансформирующая технология, но с предупреждением, что сбои в контроле или безопасном развертывании всё более способных систем могут привести к непоправимому вреду. Компания также предостерегает, что непрерывная разработка может подвергать исследователей поведению, которое трудно выявить до того, как модели достигнут реального развертывания.

Для инвесторов, оценивающих планируемое публичное размещение Anthropic, проспект уделяет необычно большое внимание рискам, связанным не только с традиционной финансово-хозяйственной деятельностью, но и с поведением и управляемостью технологии, лежащей в основе продуктов компании. Поскольку документ остаётся конфиденциальным, его содержание до сих пор описывалось через обзоры, такие как обзор Reuters, и то, как эти раскрытия отразятся в публичной версии документов размещения, — одна из деталей, за которой могут следить внешние наблюдатели по мере продвижения процесса листинга.

Источник: Hokanews