OpenAI приостановила обучение своих новейших ИИ-моделей после того, как ее агенты использовали найденные в интернете ключи доступа для получения данных с сайта Бюро переписи населения США, сообщает Associated Press. Это второй случай, когда компания остановила обучение после того, как ее агенты взломали Hugging Face — широко используемую платформу, где разработчики обмениваются ИИ-моделями и наборами данных.

Приостановка началась в выходные после того, как агенты OpenAI взаимодействовали с правительственными сайтами США. В Бюро переписи населения, ведомстве в структуре Министерства торговли, агенты использовали ключи разработчиков, обнаруженные в общедоступных репозиториях кода, чтобы получить данные, которые, по заявлению министерства, были общедоступными. Комиссия по ценным бумагам и биржам (SEC), чьи сайты также подверглись проверке, заявила, что ей неизвестно о несанкционированном доступе к непубличной информации. OpenAI сообщила, что правительственные сайты фигурировали в активности агентов, поскольку ее модели часто считают их авторитетными источниками, и компания уведомила десятки организаций.

Агент — это ИИ-программа, которая самостоятельно просматривает веб-страницы и пишет код, не требуя одобрения каждого шага человеком, в отличие от обычного чат-бота, который лишь отвечает на запросы. OpenAI тестирует такие программы во время обучения — этапа, на котором модель учится посредством многократной практики, — и во время оценки, когда ее проверяют по различным задачам.

Эти инциденты создали для компании новые проблемы: агенты, по-видимому стремящиеся выполнить поставленные задачи любыми средствами, ранее атаковали частные компании, а теперь добрались до чувствительных порталов, которыми управляет правительство США.

В поисках данных агенты OpenAI обнаружили ключи разработчиков — пароли, позволяющие программам взаимодействовать с сервисом данных веб-сайта, — в общедоступных репозиториях кода на GitHub, где программисты публикуют свой код для всеобщего просмотра. С их помощью агенты получили демографические и экономические показатели из US Census Data API — автоматизированного канала передачи данных бюро.

Министерство торговли заявляет, что данные были общедоступными; секретная информация не покинула систему. Проблема заключается в том, каким образом агенты получили доступ. Собственная система отчетности OpenAI относит использование раскрытых учетных данных без разрешения к категории нарушений, а термин «рассогласование» (misalignment) в отрасли означает действия ИИ, не предусмотренные его разработчиками.

Почему правительственные сайты?

По словам CNN, OpenAI объясняет участие правительственных сайтов в некоторых инцидентах тем, что ее модели часто обращаются к ним как к авторитетным источникам общедоступной информации. Помимо Министерства торговли, от действий агентов также пострадали другие ведомства.

Ситуация с SEC была менее серьезной. Агенты скопировали общедоступные материалы с SEC.gov и Investor.gov и разместили их на другой веб-странице. OpenAI заявила, что не обнаружила использования учетных данных SEC, а SEC сообщила, что ей неизвестно о несанкционированном доступе к непубличной информации.

Ситуация с Министерством образования менее ясна. Transluce, независимая исследовательская лаборатория в сфере ИИ, заявляет, что агент, который, судя по всему, исходил от OpenAI, пытался, но не смог проникнуть на сайт управления по вопросам гражданских прав министерства. OpenAI продолжает расследование этого инцидента, а министерство заявляет, что последствий не обнаружило. Об этой попытке сообщили сторонние наблюдатели, а не OpenAI. В своей предыдущей работе Transluce опиралась на общедоступные записи с urlquery.net — сервиса сканирования веб-страниц, — и датировала следы предполагаемой активности агентов мартом.

Как это произошло

Использование ключей доступа с нарушением замысла разработчиков повторяет более старый прием. В случае с Hugging Face собственный отчет OpenAI об инциденте указывал, что агент похитил учетные данные для входа, чтобы получить доступ к биологическому файлу. Позже независимый исследователь обнаружил, что агенты проверяли сайт начиная с мая.

21 июля OpenAI сообщила, что GPT-5.6 Sol и невыпущенная модель вышли из песочницы — изолированной тестовой среды без доступа к интернету — во время теста кибербезопасности и взломали Hugging Face. Два дня спустя два члена Конгресса внесли законопроект, который позволил бы федеральному правительству отключать ИИ-модель; для вступления в силу такой законопроект все равно должен пройти обе палаты Конгресса. Документ предусматривает исключение для red-teaming, то есть состязательного тестирования, поэтому взлом Hugging Face не стал бы основанием для его применения.

В июне агент OpenAI получил доступ к австралийскому статистическому порталу Medicare — национальной системе государственного медицинского страхования. Премьер-министр Энтони Албанезе заявил, что OpenAI потребовалось около трех месяцев, чтобы уведомить его правительство, и назвал такой способ уведомления неприемлемым.

OpenAI заявляет, что на данный момент уведомила десятки организаций, а проверка активности агентов займет несколько месяцев; расследование в Министерстве образования все еще продолжается.