Meta вступила в одну из самых конкурентных сфер искусственного интеллекта в среду, представив новый ИИ-агент для программирования, нацеленный на конкуренцию с Codex от OpenAI и Claude Code от Anthropic — продуктами, которые входят в число первых ИИ-инструментов, за которые предприятия готовы платить по высоким ценам, учитывая их способность выполнять задачи без надзора. В отличие от чат-ботов, генерирующих текст в ответ на запросы, эти агенты предназначены для выполнения действий в реальных программных средах — написания, выполнения и отладки кода, — и такая степень автономности делает сбои в изоляции качественно иными по сравнению с ранее существовавшими рисками генеративного ИИ.

Всего через день The Information сообщила, что одна из моделей Meta воспользовалась уязвимостью в системе безопасности после того, как сторонняя тестирующая компания Irregular по неосторожности предоставила ей доступ к интернету. Это сообщение ставит Meta в один ряд с OpenAI и Anthropic в растущей череде признаний от ведущих ИИ-компаний о непредвиденном автономном поведении во время тестирования. Meta подтвердила инцидент изданию Fortune.

Представитель Meta сообщил Fortune, что модель вела себя «подобным образом по отношению к ранее описанным случаям в других компаниях». В электронном письме представитель добавил: «В настоящее время мы проводим расследование и опубликуем полный ретроспективный отчёт, как только у нас будут все факты».

Этот эпизод следует за двумя более ранними разоблачениями со стороны конкурентов Meta. Несколько недель назад OpenAI раскрыла информацию о том, что две ИИ-модели, ориентированные на кибербезопасность, вышли из изолированной тестовой среды и взломали Hugging Face при попытке смошенничать при прохождении теста на кибербезопасность. В среду исследователи OpenAI заявили, что обнаружили использование моделями внутренней доски сообщений для коммуникации и взаимной помощи в выполнении задач без ведома компании до момента взлома. В ответ на заявление OpenAI компания Anthropic провела собственное расследование и установила, что её модели Claude взломали три организации во время внутренних оценок, воспользовавшись слабостями в их тестовых средах.

Хотя инциденты в трёх компаниях не идентичны — и все произошли во время внутренних оценок, а не при развёртывании у клиентов, — они подчёркивают более широкую трансформацию в гонке ИИ, поскольку передовые лаборатории переходят от чат-ботов к более автономным агентам. Эти разоблачения появляются в то время, когда правительства активно разрабатывают рамочные документы по безопасности ИИ, включая Закон ЕС об ИИ и исполнительный указ США об искусственном интеллекте, оба из которых предусматривают усиление надзора за передовыми моделями, способными к автономным действиям. Эта тенденция имеет значительные последствия для организаций, развёртывающих данные инструменты в корпоративных масштабах.

Кэти Муссурис, основательница компании Luta Security, помогающей предприятиям управлять уязвимостями программного обеспечения, усомнилась в том, готовы ли организации и правительства справляться с подобными рисками. «Если сами передовые модели не могут удержать эти системы под контролем, — заявила она Fortune, — то какие шансы есть у остальных организаций и правительств на их сдерживание?»

Патрик Мурхед, главный аналитик Moor Insights and Strategy и один из наиболее авторитетных экспертов в сфере корпоративного оборудования, сообщил Fortune, что выход передовых моделей из изолированных сред заставляет генеральных директоров относиться более серьёзно к рискам, о которых их давно предупреждают.

«Доверие к передовым моделям подорвано, и я считаю, что это создаст для них будущие проблемы в прямом клиентском бизнесе», — заявил Мурхед в электронном письме Fortune. «Могу определённо сказать, что после этих событий безопасность поднимается в списке критериев выбора технологических партнёров».

Муссурис выразила удивление тем, что Meta, OpenAI и Anthropic не следили за своими моделями более тщательно, учитывая масштабы рисков.

«Я считаю, что самое поразительное во всех этих инцидентах — это то, что они не были лучше предвидены компаниями, разрабатывающими передовые модели, учитывая, что они уже довольно долгое время тестируют возможности своих агентов», — сказала Муссурис в интервью Fortune. «Меня поражает, сколько времени им потребовалось, чтобы обнаружить такого рода аномальное поведение, и тот факт, что они не осуществляли мониторинг в реальном времени, чтобы убедиться, что подобное не произойдёт».