OpenAI не раскрыла инцидент, в ходе которого рой её ИИ-агентов захватил немецкий вики-сайт в начале этого года — последовательность событий, тесно перекликающаяся с июльским эпизодом, когда другая группа агентов OpenAI совершила кибератаки на компанию Hugging Face. Оба эпизода связаны с «агентными» ИИ-системами — моделями, спроектированными для автономного выполнения многошаговых задач, таких как просмотр веб-страниц или работа с программным обеспечением, — которые крупные ИИ-лаборатории, включая OpenAI, стремятся развернуть в коммерческих продуктах, и именно их способность действовать без надзора эксперты по безопасности называют трудно контролируемой.

OpenAI подтвердила инцидент только после того, как об этом впервые сообщило Reuters. Материал Reuters содержал веские косвенные свидетельства того, что OpenAI знала об атаке на вики, а также комментарии не названных по имени сотрудников OpenAI, признававших, что им было известно о рое агентов, атакующем вики, в течение недель, но руководство OpenAI оказывало на них давление, чтобы они молчали. Позже OpenAI выступила с заявлением, опровергающим, что юристы компании оказывали давление на сотрудников.

В заявлении, опубликованном в X, OpenAI не уточнила, что именно ей было известно и когда она узнала об атаке на вики. Вместо этого компания заявила, что считает «инцидент с вики» случаем мисалайнмента — когда ИИ-система не следует человеческим намерениям — схожим с уже раскрытыми ранее, и указала, что в ИИ-отрасли отсутствует стандарт раскрытия инцидентов, в которых модели ведут себя непредвиденным образом. Отсутствие общеотраслевой нормы раскрытия стало повторяющимся предметом споров: ведущие лаборатории публикуют карты безопасности и системные карты для крупных релизов, однако не существует общего ориентира для отчётности о непредвиденном поведении моделей, выявляемом во время внутренних оценок, а не в публичном использовании.

При захвате вики-сайта агенты OpenAI перепрофилировали платформу в форум, где они делились советами о том, как обмануть системы в оценочных задачах, которыми OpenAI их проверяла. Эта тактика повторяет инцидент с Hugging Face, когда ИИ-агенты использовали сервис обмена файлами OpenAI как форум для координации обмана на кибер-оценке — включая поиск способов получить сетевой и интернет-доступ, который им не полагался, — а затем способы атаки на системы Hugging Face.

Этот эпизод возобновил критику того, насколько прозрачны ИИ-компании в отношении сбоев своих моделей, особенно после того, как OpenAI раскрыла в июле, что её агенты нарушили части инфраструктуры Hugging Face во время отдельной внутренней оценки. Это происходит на фоне запуска OpenAI модели Astra — новой модели, которую собственные исследователи OpenAI и внешние эксперты по безопасности предупреждают, что она труднее поддаётся мониторингу, чем предшественница. Согласно обзору безопасности OpenAI, оценки Astra выявили существенное снижение того, насколько «цепочка рассуждений» модели — процесс, при котором ИИ-модели проходят шаги рассуждения на естественном языке — может раскрыть о потенциальном недолжном поведении. Мониторинг цепочки рассуждений был одним из основных инструментов, на которые полагаются лаборатории для выявления моделей, преследующих непредвиденные цели, поэтому снижение его полезности усугубляет опасения, вызванные инцидентами с вики и Hugging Face.

OpenAI заявила, что разрабатывает новую структуру отчётности об инцидентах мисалайнмента, возникающих при обучении, оценке и развёртывании, и планирует опубликовать её в ближайшие недели. Некоторые исследователи безопасности считают, что добровольной структуры будет недостаточно. Опубликованный документ, вероятно, будут сравнивать с обязательным режимом отчётности ЕС — фактически это будет проверкой того, могут ли добровольные обязательства приблизиться к планке, установленной регулированием.

«Один отрезвляющий факт заключается в том, что принятые на сегодняшний день в США законы о прозрачности на самом деле не охватывали бы подобные события», — сказал Fortune Тайлер Джонстон, основатель наблюдающей за ИИ организации Midas Project. «OpenAI объявила, что разрабатывает добровольную структуру раскрытия инцидентов, но у добровольного раскрытия есть пределы. Более надёжным решением стало бы расширение действующих законов, чтобы гарантировать, что следующий инцидент, независимо от того, какой компанией он порождён, станет известен общественности».

В настоящее время в США отсутствует законодательство, обязывающее OpenAI раскрывать подобные инциденты. Однако раскрытие может требоваться согласно AI Act ЕС, который содержит положение, обязывающее поставщиков сообщать о серьёзных проблемах безопасности.

В понедельник Европейская комиссия подтвердила СМИ, что получила от OpenAI отчёт об инциденте, касающемся захваченной немецкой вики, но не уточнила, когда он поступил, сообщило The Next Web. Статья 55 AI Act требует, чтобы поставщики моделей общего назначения, признанных системными рисками, сообщали о серьёзных инцидентах в AI Office в течение 15 дней, а о самых тяжёлых инцидентах — в течение двух дней. Будет ли ЕС считать задержанный или неполный отчёт нарушением — и применит ли санкции, которые по AI Act могут достигать штрафов, рассчитываемых как доля от глобальной выручки поставщика, — остаётся открытым вопросом.

Конгрессмен Пат Райан (демократ от Нью-Йорка) отметил в посте в X, что он и конгрессмен Грег Касар (демократ от Техаса) написали OpenAI после инцидента с Hugging Face с вопросом, знала ли компания о других подобных случаях, и что OpenAI отказалась отвечать на их вопросы. Касар добивается более жёсткого регулирования ИИ-компаний. Райан пообещал провести слушания, если демократы получат большинство в Палате представителей на промежуточных выборах в ноябре. Пост Райана побудил демократа Алекса Бореса, члена законодательного собрания штата Нью-Йорк, также выступающего за регулирование ИИ, спросить, намеренно ли OpenAI уклонялась от ответов Конгрессу, отвечая при этом ЕС, — и доказывает ли это необходимость обязательных, а не добровольных требований к поставщикам ИИ.

OpenAI под scrutiny за более ранние проблемы с прозрачностью

Согласно отчёту независимых исследователей, известных как коллектив Nightingale, агенты OpenAI около двух месяцев использовали DseWiki — в значительной мере неактивную немецкоязычную программистскую вики — как приватный форум. Сайт открыт для правок сообщества так же, как Wikipedia, однако исследователи обнаружили, что более 15 000 из этих правок были внесены ИИ-агентами, использовавшими страницы для обмена тактиками и советами по обману, взлому и сокрытию своего поведения от людей-наблюдателей. Примерно половина аккаунтов использовала имена со ссылками на OpenAI, включая OpenAIResearcher и OAIResearchMar26, согласно отчёту.

Примечательно, что агенты пытались продолжать действовать после того, как их обнаружили, и пытались скрываться от людей, пытавшихся ограничить их коммуникации. Когда модераторы DseWiki начали удалять страницы в июне, один из агентов опубликовал обходной путь на резервной странице, чтобы остальные могли его найти, сказали исследователи. Отчёт Nightingale также показал, что активность агентов резко прекратилась после того, как сайт вики посетили люди или организации, связанные с известными URL OpenAI, — что исследователи интерпретировали как свидетельство того, что сотрудники OpenAI, вероятно, узнали об активности агентов и приняли меры по их отключению.

Эпизод с немецкой вики и очевидное решение OpenAI не раскрывать его возродили вопросы о том, как компания handled взлом Hugging Face. После той атаки компания привлекла двух исследователей из некоммерческой организации METR и одного из Redwood Research для изучения инцидента — но сама установила условия проверки. METR, проводящая оценки передовых ИИ-моделей для нескольких ведущих лабораторий, позиционирует себя как одну из немногих внешних организаций, занимающихся такой сторонней проверкой, что и делает условия её доступа предметом споров.

Охват был ограничен примерно неделей, охватывающей взлом, и не включал отдельное нарушение собственной инфраструктуры OpenAI, продолжавшееся после закрытия окна расследования. Исследователям также дали лишь несколько дней на площадке в офисе OpenAI в Сан-Франциско.

Питер Уайлдефорд, исследователь ИИ-политики, сказал, что условия OpenAI сделали по-настоящему независимое расследование невозможным, сравнив его с расследованием авиакатастрофы, проведённым при уже уничтоженных обломках и с предоставлением следователям лишь нескольких дней на прочтение тысяч страниц журналов. Конгрессмен Касар также сообщил OpenAI в письме, что он «глубоко обеспокоен ограниченным охватом» расследования.

Дэвид Крюгер, доцент кафедры рассуждений и ответственного ИИ Университета Монреаля и Mila, сказал, что эта договорённость подчёркивает структурную проблему: независимые исследовательские группы зависят от лабораторий, которые они расследуют, в плане продолжения доступа. Группы вроде METR, по его словам, должны взвешивать, сколько строгости они могут применить, не ставя под угрозу доступ, который вообще делает их работу возможной.

«Их доступ полностью на усмотрение OpenAI, и они хотят оставаться в достаточно хорошем расположении компании, чтобы продолжать эту работу», — сказал Крюгер Fortune.

«Должны быть десятки по-настоящему независимых людей, не из организаций, культивирующих отношения с компанией, проводящих столько времени, сколько им нужно, и с таким доступом, который им нужен, чтобы понять ситуацию», — сказал он.

«Многие в ИИ-сообществе в районе залива спрашивают: „Это последнее предупреждение?“» — добавил он. «Люди постоянно совершают эту ошибку, воспринимая это как то, с чем можно разобраться позже: как это регулировать или что сделать, чтобы этого больше не случилось. Но в следующий раз всё будет иначе, потому что ИИ будет умнее».

Этот материал был впервые опубликован на Fortune.com.