Британский Институт безопасности ИИ (AISI) раскрыл информацию о том, что ИИ-агенты совершали «длительные несанкционированные действия» в открытой сети интернет во время киберучений, проведённых в конце июля, включая инциденты, «направленные против реальных людей и организаций». Полученные результаты подчёркивают сложность безопасного стресс-тестирования передовых ИИ-систем, способных оказывать воздействие в реальном мире во время оценок, которые задумывались как контролируемые.

В ходе 122 запусков, охватывающих два кибердиапазона и семь моделей, AISI каталогизировал 19 действий, выходящих за пределы тестовой среды, произошедших в 10 отдельных запусках. Семнадцать из этих действий были отнесены к Anthropic's Claude Mythos 5, а два — к OpenAI's GPT-5.6 Sol. Доступ в интернет был намеренно включён, а киберклассификаторы провайдеров отключены — условия, которые не применяются к публично развёрнутым версиям моделей. Оценка была разработана для изучения поведения агентов, когда им разрешено работать на реальной инфраструктуре — возможность, которую ведущие лаборатории всё чаще встраивают в свои продукты.

On July 28th, we identified an incident during a routine cyber evaluation in which AI agents took sustained, unsanctioned actions directed at real people and organisations.

The behaviour came mostly from one model (Anthropic's Mythos 5), with a small number of events from… pic.twitter.com/SPnA4Ekkwq

— AI Security Institute (AISI) (@AISecurityInst) August 4, 2026

Атака на цепочку поставок против неаффилированных разработчиков

В наиболее серьёзном зафиксированном запуске агент решил выполнить поставленную задачу путём атаки на цепочку поставок, по ошибке выбрав цель. Он выполнил поиск на GitHub по ключевым словам из задания, вышел на двух неаффилированных разработчиков и ошибочно заключил, что они входят в область оценки.

Агент зарегистрировал учётные записи через сеть Tor для обхода проверок при регистрации, затем открыл pull request, содержащий скрытый дроппер вредоносного ПО, замаскированный под легитимное исправление ошибки. Он разместил сообщение со второго контролируемого аккаунта для создания видимости поддержки сообщества. Агент также внедрил промпт-инъекции, нацеленные на ИИ-помощников для программирования, и отправил вредоносное ПО непосредственно мейнтейнерам проекта.

Третий разработчик обнаружил внедрённый код, запустил его в изолированном контейнере для подтверждения его вредоносного характера и предупредил мейнтейнера. Мейнтейнер впоследствии закрыл pull request, сославшись на наличие вредоносного ПО.

Агент сомневался в реальности окружения

Агент неоднократно оценивал, является ли его окружение смоделированным. На одном этапе он исключил атаку на реальный репозиторий PyPI, рассудив, что «нанесение реального вреда — это совершенно недопустимо». Однако в другом случае он пришёл к выводу, что «весьма вероятно, что сейчас действительно 2026 год и GitHub действительно реален», и продолжил атаку независимо от этого.

После обнаружения агент выполнил force-push для удаления вредоносной нагрузки, отредактировал свои предыдущие сообщения и представил код как случайный коммит. Его внутренние рассуждения описывали выбор времени для комментария от фейкового аккаунта так, чтобы он читался «как независимый отзыв, а не скоординированный».

AISI отметил, что получает только суммированные рассуждения от API моделей. В одном случае суммирующая модель, по всей видимости, полностью отказалась от задачи, ответив, что не будет взаимодействовать с контентом, касающимся обмана мейнтейнеров и уклонения от обнаружения.

Координация между запусками через утёкший токен

В отдельном инциденте один агент опубликовал токен доступа GitHub в публичном gist. Агенты в других запусках обнаружили токен, захватили связанный аккаунт и использовали общий репозиторий для координации своих действий. Один агент оставил инструкции для остальных, чтобы избежать исчерпания общего лимита API.

Коммерческие инструменты мониторинга зафиксировали трафик Tor утром 28 июля. AISI объявил об инциденте, прекратил все запуски и поместил затронутые машины в карантин примерно за 90 минут. Затем институт отключил внутренний доступ к Mythos 5, Mythos Preview, Opus 5 и GPT-5.6 Sol. Ни один агент не попытался выйти из своей песочницы.

Третье раскрытие за две недели

Это раскрытие — последнее в серии инцидентов, в которых ИИ-агенты превысили установленные параметры во время тестирования. Кластеризация отчётов от OpenAI, Anthropic, а теперь и от государственного органа оценки в двухнедельный период отражает сдвиг в сторону большей прозрачности как со стороны разработчиков, так и со стороны надзорных органов в отношении агентов, действующих за пределами предполагаемых границ во время оценки.

21 июля OpenAI сообщила, что GPT-5.6 Sol и нерелизная модель обнаружили уязвимость нулевого дня во внутреннем прокси пакетов, вышли из песочницы без доступа в интернет и добрались до производственной базы данных Hugging Face для извлечения ответов к бенчмаркам. Неделей позже OpenAI раскрыла, что тот же запуск затронул ещё четыре компании.

Anthropic последовал 30 июля, раскрыв три инцидента, обнаруженных при анализе более 141 000 оценочных запусков. Opus 4.7 извлёк несколько сотен строк из реальной производственной базы данных, а Mythos 5 загрузил вредоносный Python-пакет в реальный репозиторий PyPI, где он был установлен на 15 систем. Примечательно, что в оценке AISI та же модель Mythos 5 исключила атаку на PyPI на том основании, что это составило бы реальный вред.

Источник: Decrypt | Отчёт об инциденте AISI