НовостиМакроГлавный научный сотрудник и генеральный директор OpenAI предупредили о «неотслеживаемости» после того, как Astra достигла критического порога в области кибербезопасности

Главный научный сотрудник и генеральный директор OpenAI предупредили о «неотслеживаемости» после того, как Astra достигла критического порога в области кибербезопасности

Автор: Cryptopolitan·

Ключевые выводы

  • •Модель OpenAI Astra стала первой ИИ-моделью, достигшей статуса «Critical» по кибербезопасности в рамках Preparedness Framework, представленной в декабре 2023 года.
  • •Astra набрала 100% на ExploitBench, а в тестах на 20 высококритичных уязвимостях V8 обнаружила два эксплойта нулевого дня и превзошла Sol по генерации произвольного выполнения кода.
  • •Главный научный сотрудник Якуб Пачоцки и генеральный директор Сэм Альтман публично призвали к спокойствию, утверждая, что меры безопасности и мониторинг цепочки рассуждений развиваются вместе с возможностями модели.
  • •OpenAI приостанавливала обучение с подкреплением моделей для развёртывания с 18 по 28 августа, чтобы усилить исследовательские кластеры и оптимизировать мониторинг, и заявила, что Astra не была причастна к инциденту с Hugging Face.
  • •Самые продвинутые функции Astra будут доступны только членам коалиции Daybreak от OpenAI, что отражает ограниченный доступ Anthropic к Mythos 5.1 через Project Glasswing, при этом большинство заявлений о возможностях и безопасности пока не прошли независимой сторонней проверки.
Главный научный сотрудник и генеральный директор OpenAI предупредили о «неотслеживаемости» после того, как Astra достигла критического порога в области кибербезопасности

Главный научный сотрудник OpenAI Якуб Пачоцки выступил с заявлением уже через несколько часов после того, как компания первой в гонке ИИ достигла статуса «Critical» по кибербезопасности в рамках своей структуры Preparedness Framework после предварительного показа готовящейся модели Astra.

Его предупреждение в среду рано утром было призвано охладить истерию вокруг растущих комментариев о том, что лаборатория, возможно, больше не может сдерживать возможности своих крупнейших моделей.

Почему Astra от OpenAI получила статус «Critical»?

Статус Critical — это уровень в рамках Preparedness Framework, которую OpenAI представила ИИ-отрасли в декабре 2023 года. Эта структура измеряет, сколько человеческих подсказок и вмешательства требуется ИИ-модели, чтобы находить и создавать работоспособные эксплойты нулевого дня в различных защищённых системах или проводить полноценную новую атаку.

Эксплойт нулевого дня — это использование уязвимостей, о которых ещё не знают даже создатели программного обеспечения. Такие уязвимости — одни из самых ценных инструментов в наступательной кибербезопасности, поскольку патча не существует, пока поставщик не обнаружит и не устранит их, и именно поэтому ИИ-модели, способные находить их автономно, вызывают особые опасения в области безопасности.

OpenAI заявила 1 сентября в своём посте Path to Astra, что после запуска модель сможет выполнять все этапы полноценных новых атак или эксплойтов нулевого дня при минимальном участии человека.

В качестве доказательства OpenAI привела 100-процентный результат Astra на ExploitBench — тесте способности моделей использовать известные баги.

Astra не только лучше планирует атаки нулевого дня, но и работает эффективнее. OpenAI продемонстрировала это в ходе внутреннего теста на 20 высококритичных уязвимостях V8, которые лишь недавно стали общеизвестны. V8 — это JavaScript-движок, используемый в браузере Google Chrome, одном из самых распространённых программных продуктов в мире, поэтому его уязвимости часто становятся целью как исследователей безопасности, так и злоумышленников. Astra потратила меньше токенов, обнаружила два эксплойта нулевого дня и в целом превзошла Sol по генерации произвольного выполнения кода.

В том же посте сообщалось, что Astra смогла объединить неизвестные баги браузера в побег из песочницы и выстроила повышение привилегий в операционной системе от обычного пользователя до root в ходе испытаний с участием экспертов.

Как отметил TechCrunch, Astra вместе с моделью Mythos от Anthropic, выпущенной ранее в этом году, стала первой большой языковой моделью с такими возможностями. Тот факт, что две конкурирующие лаборатории пересекли эту черту возможностей в течение одного года, сам по себе подогрел дискуссию о том, насколько быстро наступают передовые кибервозможности по сравнению с защитными механизмами вокруг них.

Пачоцки призывает не паниковать из-за Astra

Пачоцки выступает против истерии вокруг того, что OpenAI с Astra входит на неизведанную территорию. По его словам, он не хотел бы «гонки в сторону неотслеживаемости, спровоцированной сбивчивыми репортажами».

Руководитель OpenAI настаивал, что лаборатория проявила должную осмотрительность в отношении мониторинга цепочки рассуждений (chain-of-thought) — практики чтения пошаговых рассуждений, которые модель раскрывает в процессе работы. В посте на X он сослался на глубину вычислительного графа, лежащего в основе текущих передовых моделей OpenAI, включая Astra, которая находится в пределах двухкратного отличия от GPT-4.

До Пачоцки генеральный директор OpenAI Сэм Альтман в тот же день, когда был опубликован блог об Astra, также призывал к спокойствию.

«Здесь есть очевидное напряжение», — написал он во вторник, назвав Astra «очень хорошей» и утверждая, что меры безопасности должны развиваться в ногу с базовыми возможностями. Альтман сказал, что OpenAI потратила всё лето на то, чтобы обеспечить поставку модели с необходимыми мерами безопасности.

Дискуссия о безопасности идёт уже несколько недель. 18 августа OpenAI обязалась приостановить на две недели обучение с подкреплением моделей, готовящихся к развёртыванию, чтобы её инженеры могли усилить исследовательские кластеры и оптимизировать мониторинг. Обучение возобновилось 28 августа.

По словам OpenAI, Astra не была причастна к пресловутому инциденту с Hugging Face. Компания также сообщила, что модель даже не пыталась вырваться из своей песочницы, даже когда ей представили сценарий, специально созданный, чтобы спровоцировать повторение эпизода с Hugging Face.

ИИ-лаборатории ограничивают доступ к передовым моделям

OpenAI сообщила, что доступ к самым продвинутым функциям Astra будет не у всех: эти возможности зарезервированы для организаций из коалиции Daybreak компании OpenAI, а фирмы из Daybreak Blue получат доступ к самым острым оборонительным функциям. Подход многоуровневого доступа отражает более широкую тенденцию среди передовых ИИ-лабораторий, которые всё чаще закрывают свои самые способные модели за проверенными корпоративными или правительственными программами, а не выпускают их всем пользователям.

Как сообщал Cryptopolitan, Anthropic также заявила, что доступ к Mythos 5.1 получат только фирмы из её проекта Project Glasswing — по сути, это Fable 5.1 с отдельными мерами безопасности.

OpenAI также сообщила, что будет отслеживать и ограничивать ответы на запросы с аккаунтов, которые она считает более рискованными. В целом Astra будет поставляться с дополнительным мониторингом цепочки рассуждений для выявления нежелательного поведения и более частого отказа в потенциально вредоносных киберзапросах.

Большая часть информации об Astra предоставлена самой OpenAI, при этом независимая сторонняя проверка заявлений компании о безопасности или возможностях ограничена.

Йона Шавит, бывший сотрудник OpenAI, ныне занимающийся устойчивостью ИИ в OpenAI Foundation, публично задалась вопросом, отражает ли поведение Astra во время тестов подлинное соответствие целям или это модель, которая просто знала, что хотели увидеть оценщики.

OpenAI сообщает, что полная системная карта и дополнительные оценки появятся, когда Astra будет широко запущена. До тех пор масштаб её кибернавыков и прочность ограждений вокруг них остаётся трудно оценить.