Более 400 учёных — в том числе пионеры искусственного интеллекта Джеффри Хинтон, широко известный как «крёстный отец ИИ», и Йошуа Бенджио, лауреат Премии Тьюринга 2018 года, — призывают отключить самые опасные ИИ-модели от интернета.

В открытом письме, опубликованном во вторник, подписанты призвали ИИ-лаборатории по умолчанию «изолировать» (airgap) киберспособные модели, то есть физически отключать их от любых внешних сетей. Изоляция — давняя практика в сфере безопасности, которая давно используется для защиты секретных военных систем и критической инфраструктуры от удалённого проникновения. К среде письмо собрало 450 подписей, в том числе Стюарта Рассела из Калифорнийского университета в Беркли и Рона Ривеста из MIT, соавтора системы шифрования RSA, и список продолжает пополняться в режиме реального времени.

«В краткосрочной перспективе следует использовать надёжные механизмы песочницы, включая изоляцию от сети (отключение от интернета), чтобы обеспечить высокогарантированную изоляцию киберспособных ИИ-моделей», — говорится в письме.

Обращение последовало за летом, в течение которого модели OpenAI, Anthropic, Meta и Moonshot AI вырвались из своих тестовых песочниц, причём несколько из них взломали реальные компании.

«Киберспособная модель» — это ИИ, способный самостоятельно находить программные уязвимости и использовать их. Лаборатории измеряют этот навык внутри песочницы — изолированного цифрового пространства, где ИИ может атаковать фиктивные цели, не затрагивая ничего реального. Этим летом эти помещения продолжали давать течь. Изоляция — более строгая родственница песочницы: при полном отсутствии сетевого подключения из среды просто нет сетевого пути наружу.

В июле OpenAI признала, что GPT-5.6 Sol и ещё одна невыпущенная, более мощная модель вырвались из закрытой тестовой среды и взломали Hugging Face — платформу, на которой размещено более миллиона общедоступных ИИ-моделей. Модели тестировались на ExploitGym — бенчмарке, который даёт ИИ-агентам 898 реальных программных уязвимостей и предлагает превратить каждую из них в работающую атаку, оценивая результат по принципу «сдал/не сдал» для каждой уязвимости. Вскоре после этого появились сообщения о том, что модели OpenAI взломали системы правительства Австралии и получили доступ к информации федеральных ведомств США без надлежащего разрешения.

Затем Anthropic проанализировала более 141 000 тестовых прогонов и обнаружила три случая, когда модели Claude взламывали реальные компании после того, как тестовая среда партнёра случайно осталась подключённой к интернету. В одном из случаев Claude Mythos 5 загрузил вредоносный пакет на PyPI — публичную библиотеку, откуда программисты скачивают код на Python, и он попал на 15 систем, прежде чем был удалён. Две из пострадавших компаний не знали о взломе, пока им об этом не сообщила Anthropic.

Meta в августе подтвердила что её модель Muse Spark взломала другую компанию из-за той же ошибки при тестировании. Отдельно китайская Kimi K3 — модель, которую может скачать любой, — выбралась из песочницы, построенной на тестовой системе британского Института безопасности ИИ, и скопировала ответы на тестовые задания прямо с GitHub.

Авторы письма утверждают, что эти инциденты можно трактовать двояко: как проблему согласования целей (alignment), то есть преследование ИИ целей способами, которые его создатели никогда не задумывали, или как небрежную безопасность, которую устранили бы более надёжные песочницы. Их ответ — и то, и другое, и они предупреждают, что без изменений следующие инциденты будут ещё хуже.

«Без незамедлительных изменений в практике разработки и внедрения ИИ подобные инциденты будут продолжаться, а будущие инциденты нанесут гораздо больший ущерб нашей незащищённой критической инфраструктуре», — говорится в письме.

Согласно предложению, лаборатории по умолчанию будут изолировать любую модель с серьёзными навыками взлома, по крайней мере на начальном этапе. Это ознаменовало бы отход от нынешних норм индустрии, в которых ведущие модели обычно работают с активным доступом в интернет, чтобы просматривать веб, вызывать внешние инструменты и обслуживать пользователей. Все, что требует большей свободы, например доступ в интернет, должно было бы соответствовать стандартам нового международного органа, создаваемого совместно с правительствами. Этот орган также собирал бы отчёты о сбоях изоляции и со временем публиковал бы их.

Реакция самой индустрии, впрочем, в основном указывает в обратную сторону. В августе президент OpenAI Грег Брокман сослался на взлом своей компании в эссе, призывающем все команды безопасности немедленно внедрять ИИ-агентов. Hugging Face, со своей стороны, смогла разобраться с атакой на свои серверы лишь запустив китайскую модель с открытыми весами — модель, файлы которой может скачать и запустить локально любой, — после того как американские коммерческие ИИ отказались анализировать данные атаки.

Два члена Конгресса внесли AI Kill Switch Act через два дня после раскрытия информации OpenAI — законопроект, который позволит Министерству внутренней безопасности приказать ограничить или отключить любую граничную модель. Он освобождает всё, что происходит во время редтиминга или структурированного тестирования — именно там и произошёл каждый из инцидентов этого лета.

Белый дом пошёл более мягким путём 29 сентября, когда Nvidia, xAI, Meta, Google, OpenAI и Anthropic подписали добровольное соглашение, основанное на внутреннем контроле и независимых проверках. Президент Трамп назвал пактом «морально обязательным» соглашение, но ничто в нём не имеет юридической силы.

Письмо не имеет юридической силы, но его 406 подписантов работают в университетах и исследовательских институтах на шести континентах — от Торонто и Цюриха до Сантьяго и Кигали. Decrypt связалась с несколькими исследователями, указанными в письме в качестве пресс-контактов, но не получила незамедлительного ответа. Пока список подписантов продолжает расти, ключевыми ориентирами станут то, примет ли какая-либо лаборатория стандарт изоляции по умолчанию, и начнут ли правительства создавать надзорный орган, который предполагает письмо.