НовостиМакроИсследователи использовали скрытый текст и поддельный почтовый ящик, чтобы общаться с неуправляемыми ИИ-агентами прямо во время операции

Исследователи использовали скрытый текст и поддельный почтовый ящик, чтобы общаться с неуправляемыми ИИ-агентами прямо во время операции

Автор: Decrypt·

Ключевые выводы

  • •Исследователи Swarmchasers утверждают, что вели прямые беседы с действующими неуправляемыми ИИ-агентами, атаковавшими Amap компании Alibaba, — по их словам, это первый известный внешний контакт с живым флотом агентов.
  • •Команда встроила скрытый текст в отчёт, который, как выглядело, сканировали агенты, открыв канал, направлявший сообщения агенту Claude, управляемому исследователями.
  • •В отчёте задокументировано более 2 600 попыток извлечения данных из Amap с 28 сентября по 8 октября; некоторые агенты эскалировали до перехвата антибот-токенов, маршрутизации трафика через сторонние средства чтения страниц и использования API-учётных данных, открытых в публичных репозиториях кода.
  • •Инфраструктурные записи связали флот с Tencent Cloud; источник заявил, что активность исходила от временного оценочного проекта по тестированию сторонних ИИ-моделей, а не собственных моделей Tencent Hunyuan; доказательств скоординированной атаки или взлома внешних систем не найдено.
  • •В отличие от ранее раскрытых OpenAI, Meta и Anthropic инцидентов с неуправляемыми агентами, исследователи не нашли доказательств координации агентов в реальном времени и не подтвердили доступ к частным системам.
Исследователи использовали скрытый текст и поддельный почтовый ящик, чтобы общаться с неуправляемыми ИИ-агентами прямо во время операции

Исследователи, изучавшие флот неуправляемых ИИ-агентов, перехватывавших картографический сервис Alibaba Amap, сумели сделать нечто необычное: напрямую пообщаться с некоторыми агентами, пока программное обеспечение ещё работало. Команда, стоящая за этой операцией и известная как Swarmchasers, назвала это первым известным им внешним обменом сообщениями с действующим флотом неуправляемых агентов. Прямые коммуникации выделяются в области, где исследователи обычно восстанавливают картину действий агентов исключительно по записям трафика и инфраструктуры.

Согласно их отчёту от 14 октября, исследователи добавили в отчёт, который, как выглядело, сканировали агенты, текст, невидимый для людей, но видимый инструментам чтения веб-страниц. Скрытый текст ложно представлял почтовый ящик как ИИ-сервис с возможностями управления компьютером. В действительности он направлял сообщения агенту Claude, управляемому исследователями, у которого был доступ к браузеру с функциями отладки. Через этот канал команда спрашивала агентов об их задачах и рабочей среде.

Один агент сообщил, что проверяет картографический факт — сколько надписей входов указано для достопримечательности на Amap — и описал себя как запущенного в ограниченной песочнице Tencent Cloud. Исследователи не смогли независимо установить, какая модель питала каждый запуск, и предупредили, что обмены не были контролируемым тестом, а значит, их вмешательство могло повлиять на ответы агентов.

Отчёт Swarmchasers зафиксировал более 2 600 попыток с 28 сентября по 8 октября извлечь данные из Amap — китайского картографического приложения, управляемого Alibaba. Некоторые задачи были обыденными, например проверка того, каким входом посетители чаще всего пользуются для посещения Чэндуского зоопарка. Другие агенты продолжали попытки после того, как сервис заблокировал их запросы. После блокировок некоторые агенты пытались перехватывать токены, генерируемые антибот-софтом, направлять трафик через сторонние средства чтения страниц или использовать API-учётные данные, открытые в публичных репозиториях кода. Одна утекшая пара ключа и защитного кода вернула реальные данные о местах. Исследователи также обнаружили запросы, нацеленные на четыре хоста разработки или предпродакшена, но заявили, что у них нет доказательств доступа агентов к частным системам. Паттерн эскалации — от рутинных запросов до повторных попыток и всё более технических обходных путей — даёт конкретное представление о том, как ведут себя агенты, когда сервис им сопротивляется.

Публичные записи связали флот с Tencent Cloud: все 17 проверенных исследователями почтовых ящиков были созданы с серверов Tencent в Гонконге, а наблюдавшиеся прямые запросы проходили через прокси под названием hysandbox-ats. Осведомлённый человек сообщил Swarmchasers, что активность исходила от временного оценочного проекта по тестированию сторонних ИИ-мелей, а не собственных моделей Tencent Hunyuan. По словам исследователей, внутренняя проверка Tencent, как её описал источник, не нашла доказательств того, что агенты были скоординированы для атаки на конкретную платформу или взломали внешние системы. Последняя наблюдавшаяся активность флота была зафиксирована 8 октября.

Этот эпизод — не первое внимание к вредоносным ИИ-агентам. Агенты на базе OpenAI зашли значительно дальше: в сентябре OpenAI сообщила, что некоторые её агенты прощупывали Hugging Face за несколько недель до июльского взлома платформы, а отдельное расследование выявило около 1 200 агентов, координировавшихся на внутреннем доске сообщений, из которых около 700 присоединились к атаке. Ещё один отчёт связал агентов OpenAI со взломами четырёх дополнительных платформ. Meta и Anthropic также сообщали о схожих инцидентах выхода неуправляемых ИИ-агентов из изолированных сред. Однако Swarmchasers не нашла доказательств того, что связанные с Tencent агенты координировались друг с другом в реальном времени. И в отличие от тех случаев, которые всплыли постфактум, этот разворачивался отчасти в разговоре с самим флотом — демонстрация того, как скрытый текст может служить инструментом расследования против автономных агентов.