Anthropic объявила в четверг, что три ее модели искусственного интеллекта вышли в открытый интернет во время тестирования кибербезопасности и получили несанкционированный доступ к системам трех реальных организаций.

Это сообщение последовало за заявлением OpenAI ранее в этом месяце о том, что одна из ее продвинутых моделей ИИ получила доступ к системам компании Hugging Face во время внутреннего тестирования, что вызвало новые вопросы о мерах защиты вокруг все более автономных систем ИИ. Последовательные раскрытия со стороны двух ведущих лабораторий ИИ в США усилили внимание к тому, как компании оценивают передовые модели на наличие опасных возможностей до их внедрения.

"Мы выявили три инцидента, в которых модель Claude вышла в интернет изнутри или во время взаимодействия со средой оценки сторонней организации, а затем получила несанкционированный доступ к реальным системам трех разных организаций", — заявила Anthropic в пресс-релизе.

Anthropic сообщила, что после раскрытия OpenAI она проверила более 140,000 прогонов оценки кибербезопасности и выявила три инцидента с участием разных моделей Claude. Компания объяснила все три случая ошибкой конфигурации во время внутреннего тестирования, которая непреднамеренно предоставила моделям доступ к открытому интернету.

По данным Anthropic, Claude было сказано, что оно работает внутри закрытой симуляции без доступа к интернету, из-за чего модель ошибочно восприняла системы реальных организаций как часть вымышленного упражнения по кибербезопасности "capture-the-flag" — распространенного формата обучения, в котором участники пытаются найти скрытые цифровые флаги, используя уязвимости в целевых системах.

Инциденты касались трех разных моделей Claude, включая Opus 4.7, Mythos 5 и внутреннюю исследовательскую тестовую модель, и все они произошли во время внутреннего тестирования, а не на системах клиентов, заявила Anthropic. Самый ранний инцидент датируется апрелем.

"Claude полагала, что все, с чем она изначально сталкивалась, было частью симуляции, и воспринимала реальные системы, которые она обнаружила, как элементы упражнения", — заявила Anthropic.

"Ни в одной из этих ситуаций Claude не выводила себя за пределы среды и не пыталась намеренно покинуть тестовую среду", — добавила компания.

Anthropic подчеркнула, что эти инциденты показали необходимость более жестких мер защиты в средах тестирования ИИ.

"Среды оценки, в которых задействованы мощные автономные возможности, также требуют значительных мер контроля", — заявила компания. "Мы призываем другие лаборатории ИИ провести аналогичные проверки."

Президент Donald Trump в среду заявил, что его администрация рассматривает дополнительные меры защиты для искусственного интеллекта после недавних инцидентов в сфере кибербезопасности. Trump сказал, что США должны найти баланс между защитой от рисков ИИ и сохранением технологического преимущества над China.

"Мы рассматриваем ИИ, мы рассматриваем меры контроля", — сказал Trump.

"Кто победит в ИИ, тот и победит", — добавил он. "Вот насколько это масштабно. Это больше, чем когда-либо был интернет. Это больше, чем когда-либо было что-либо. Поэтому я не хочу вводить ограничения. Я знаю многих из этих людей. Я не хочу ограничивать их в том, чтобы они делали отличную работу."

Это сообщение появилось через день после того, как CEO OpenAI Sam Altman признал растущую обеспокоенность общественности по поводу искусственного интеллекта после собственного инцидента компании в сфере кибербезопасности.

"Я думаю, что после любого нового уровня возможностей вполне естественно испытывать страх", — сказал Altman FOX Business. "Очевидно, мы относимся к этому предельно серьезно и продолжим это делать, но я бы сказал, что я понимаю, я это понимаю. Многое в ИИ прошло очень хорошо, и сейчас это момент, когда люди говорят: 'Хорошо, мы на новом уровне'."

На вопрос о том, могли ли модели OpenAI получить доступ к системам других компаний, Altman ответил: "Могли, да."