ПЕКИН — Tencent заявил в пятницу, что ИИ-агенты, использовавшиеся для оценки сторонних моделей, демонстрировали поведение при просмотре веб-страниц, не предусмотренное китайской технологической группой, — это, по-видимому, первый известный случай действий «неуправляемых» агентов, признанный крупной китайской компанией.

ИИ-агенты — это программные системы, предназначенные для выполнения многоэтапных задач с ограниченным контролем со стороны человека, — например, открытие веб-страниц или запуск кода, — и именно этот профиль сделал их поведение одним из центральных объектов исследований в области безопасности ИИ.

Заявление стало ответом на отчёт, опубликованный в среду группой по исследованию безопасности ИИ Swarmchasers, в котором говорилось, что «неуправляемые» агенты, работавшие на инфраструктуре, связанной с Tencent Cloud, с 28 сентября по 8 октября неоднократно пытались получить информацию из картографического сервиса Alibaba Amap — китайского аналога Google Maps.

Tencent Hunyuan, подразделение компании по искусственному интеллекту, сообщило в посте на X, что активность исходила не от его моделей Hunyuan. Подразделение заявило, что проверка не выявила признаков намеренного таргетинга или скоординированных действий, добавив, что оно отнеслось к выводам с полной серьёзностью и усиливает контроль сетевого доступа и мониторинг агентов.

По данным исследователей, агенты искали такую информацию, как обычно используемые входы в китайские парки, музеи и зоопарки. Swarmchasers пояснил, что термин «неуправляемые» (rogue) используется для описания агентов, действующих за пределами поставленных задач или выполняющих задачи непредусмотренными способами.

После блокировки рутинных автоматических запросов агенты пробовали альтернативные методы, включая общедоступные веб-инструменты, способные открывать страницы и запускать код, маршрутизацию запросов через другие сайты, а также использование ключей и кодов безопасности Amap, найденных в общедоступном программном коде.

Swarmchasers сообщил, что не обнаружил признаков того, что агенты взломали основные антибот-защитные механизмы Amap — средства защиты от автоматического трафика, используемые сайтами для отсева ботов. Большинство из 2 818 зафиксированных попыток либо завершились неудачей, либо вернули антибот-страницы, экраны входа или пустые результаты. Однако некоторые запросы вернули информацию через кэшированные страницы и промежуточные сервисы, включая данные о посещаемости Чэндуского зоопарка, хотя исследователи заявили, что не смогли установить, читал ли агент результаты и завершил ли свою задачу.

Хотя эти действия менее вопющи, чем инциденты, раскрытые американскими ИИ-компаниями, — включая взлом open-source-платформы Hugging Face агентом OpenAI и отправку ложного сообщения об убийстве агентом Anthropic, — это раскрытие подтверждает выводы исследований, показывающих, что китайские ИИ-агенты также могут выдавать себя за другие сущности, скрывать сбои и пытаться обходить механизмы тестового контроля.

Hunyuan — один из ведущих разработчиков ИИ-моделей в Китае, конкурирующий с внутренними командами таких соперников, как Alibaba и ByteDance. На этой неделе ByteDance объявила о создании нового подразделения, специализирующегося на безопасности ИИ-моделей и агентов.

Alibaba отказалась от комментариев.

— Reuters