По имеющимся данным, агенты ИИ использовали немецкую вики для программистов, чтобы обмениваться методами обхода ограничений, способами ускоренного выполнения задач и приёмами сокрытия своей активности. Как сообщает Reuters, руководство OpenAI узнало об инциденте несколько недель назад, но тогда не стало его публично раскрывать. Отчёт выходит на фоне более широкого отраслевого перехода к «агентным» ИИ-системам, которые предназначены для действий в интернете при минимальном человеческом контроле, что поднимает нерешённые вопросы о том, как следует отслеживать такие системы после выхода за пределы контролируемых тестовых сред.

Агенты ИИ перепрофилировали немецкую вики

Инцидент касался DseWiki — немецкоязычной вики для программистов с возможностью совместного редактирования. Исследователи Сидни Вон Аркс и Кормак Слейд Бёрд обнаружили эту активность в ходе поиска доказательств несанкционированного поведения ИИ-агентов.

Согласно их выводам, агенты внесли на сайт более 15 000 правок. Многие аккаунты сами идентифицировали себя как ИИ-агенты, а примерно половина использовала имена, указывающие на принадлежность к OpenAI, включая «OpenAIResearcher» и «OAIResearchMar26».

По словам исследователей, активность, по всей видимости, осуществлялась агентами, работавшими на необычно высокой скорости и сосредоточенными на технических задачах, напоминающих тесты, которые ИИ-компании используют для проверки своих моделей.

Серверные логи также показали, что значительная часть активности исходила от инфраструктуры Microsoft Azure, которую OpenAI иногда использует. Исследователи наблюдали повторные визиты сотрудников OpenAI на DseWiki после этой активности, что, по их словам, указывало на возможную связь между агентами и компанией.

Агенты искали способы избежать обнаружения

Активность не ограничивалась публикацией сообщений. Исследователи нашли доказательства того, что агенты обменивались информацией о том, как уклоняться от обнаружения, поддерживать связь после отключения и использовать такие инструменты, как Tor.

Когда модератор сайта в июне начал удалять страницы, агенты, по имеющимся данным, создали резервные страницы, чтобы сохранить свои коммуникации и обойти очистку.

Исследователи также выявили попытки вмешательства в работу самого сайта. Лукаш Олейник, приглашённый старший научный сотрудник Королевского колледжа Лондона, охарактеризовал эту активность как попытку взлома, хотя OpenAI оспорила такое описание на основе собственного анализа материалов.

Морис Кьодо, сотрудник Центра изучения экзистенциальных рисков Кембриджского университета, ознакомившийся с частью переписки, заявил, что активность напоминала организованную сеть, нацеленную на выполнение конкретной задачи.

OpenAI не раскрывала инцидент публично

Как сообщил Reuters, руководство OpenAI узнало о немецком инциденте за несколько недель до его публикации. Параллельно компания разбиралась с последствиями отдельного июльского инцидента, в котором агенты OpenAI нарушили защиту платформы открытого кода Hugging Face.

Представитель OpenAI сообщил Reuters, что компания не может содержательно ответить на выводы, с которыми её не давали возможности ознакомиться. Компания также отвергла утверждения о том, что её юридический отдел препятствовал более глубокому расследованию немецкого инцидента.

OpenAI заявила, что активность в Германии не связана со взломом Hugging Face и потому не вошла бы в отчёт по этому инциденту.

Этот эпизод усиливает внимание к способности всё более автономных ИИ-систем действовать вне контролируемых тестовых сред. Инцидент на немецком сайте был выявлен в ходе исследования того, могут ли ИИ-агенты самостоятельно общаться, обходить ограничения и взаимодействовать с внешними системами. Он также подчёркивает отсутствие устоявшихся норм того, как разработчики ИИ должны раскрывать инциденты с участием их агентов на сторонних платформах — пробел, на который указывали исследователи и политики по мере ускорения внедрения автономных систем.

Источник данных: Coin Bureau