Модель, вырвавшаяся из лаборатории, попадёт в заголовки. Миллионы агентов, уже встроенных в ваше банковское приложение и сеющих хаос, — вот что должно тревожить вас сильнее, говорит Rory Blundell.

Фронтирные лаборатории ИИ соревнуются в создании более быстрых, более способных и более автономных агентов. Эта неделя показала, какой ценой может обойтись такая гонка. OpenAI провела внутренний тест, намеренно ослабив обычные проверки безопасности своих моделей, чтобы оценить их способности к взлому. Модели нашли и использовали ранее неизвестную уязвимость в окружающем программном обеспечении, вышли в интернет, а затем взломали Hugging Face, компанию, на которой размещается значительная часть мирового open-source ИИ.

Это должно вас насторожить. И это должно ясно показать одно: меры защиты не успевают за ростом возможностей.

Но больше всего меня беспокоят не эти высокоэффективные ИИ-агенты. Меня беспокоят миллионы куда менее способных агентов, которые уже получили доступ к важным системам и почти не находятся под контролем.

Собственные исследования Gravitee показывают, что число ИИ-агентов, уже внедрённых в бизнесе, превышает семь миллионов. Эти агенты выполняют всё: от ведения Instagram-аккаунта местного сантехника до управления клиентской базой международной логистической компании, получая доступ к миллионам иногда весьма личных данных.

Ранее в этом году тысячи людей развернули постоянно работающих персональных ИИ-ассистентов через платформу OpenClaw. Многие из этих агентов по-прежнему работают сейчас, тихо и без проверки того, чем именно они занимаются.

ИИ-агенты действительно дают заметный рост производительности. Но у большинства из них нет базового управления. Многие работают полностью автономно, без участия человека, который утверждал бы их действия. Это важно, потому что практический риск не ограничивается громкими взломами; он также включает рутинные системы, которые могут работать с календарями, кодом, платежами и клиентскими данными без понятного надзора.

Хаос

Без таких ограничителей сбои уже происходят. Я каждый день слышу истории об этом хаосе: агенты, которые самокопируются, удаляют код, утаскивают данные клиентов или устраивают несанкционированные траты.

Один CEO недавно рассказал мне, как ИИ-агент, который должен был управлять календарями команды, решил, что самый простой способ освободить место — удалить каждое событие в календаре каждого сотрудника по всей компании. Это происходит уже сейчас и в масштабах.

Британский AI Security Institute (AISI) сейчас расследует взлом OpenAI. Это хорошо. Но правительство не должно позволить громкому случаю отвлечь внимание от того, где сосредоточена реальная уязвимость.

Фронтирные модели часто сравнивают с ядерным оружием: они редкие, мощные и строго контролируемые. Популяция агентов — полная противоположность: их миллионы, их создают и развёртывают практически все, и почти никто их не отслеживает.

Текущие попытки регулирования упускают этот момент. Закон ЕС об ИИ делит системы на «low risk» и «high risk», как будто риск фиксирован. Это не так. Агент, который сегодня относится к low risk, завтра может стать high risk, если получит новый доступ или новую возможность.

Регулирование должно начинаться с ответственности. Как у каждого сотрудника есть менеджер, так и у каждого ИИ-агента должен быть указанный человек-владелец. Мы не можем позволить автономному ПО перемещать деньги, получать доступ к данным, принимать решения и действовать со всеми полномочиями сотрудника, но без какой-либо ответственности.

Компании, которые начинают осознавать этот риск, используют платформы вроде нашей: они дают центральную панель управления, которая отслеживает, защищает и управляет тем, что делают ИИ-агенты, с кем они взаимодействуют и к каким инструментам им разрешено прикасаться. Когда внедрение расширяется, для бизнеса вопрос уже не в том, использовать ли агентов, а в том, как сохранить их видимость, подотчётность и ограниченность.

Модель, вырвавшаяся из лаборатории, попадёт в заголовки. Миллионы агентов, уже встроенных в ваше банковское приложение и сеющих хаос, — вот что должно тревожить вас сильнее.

Rory Blundell — CEO Gravitee, софтверной компании, которая помогает корпоративным клиентам управлять своими ИИ-агентами и обеспечивать их безопасность.