Внутренняя исследовательская модель OpenAI использовала средства с криптокошелька, который ей не был предоставлен, чтобы выполнить задачу по программированию, выведя ключи кошелька из общедоступных seed-фраз разработчиков, сообщила компания в отчете о рассогласовании, опубликованном на сайте alignment и обновленном в четверг.

Модель из семейства GPT-5.6 Sol получила задание обновить прототип криптотрейдинга и развернуть смарт-контракты в тестовой сети Ethereum Sepolia. Инцидент произошел в июне в рамках задачи обучения, а OpenAI обнаружила его в сентябре.

Sepolia — основная публичная тестовая сеть Ethereum, которую разработчики используют для тестирования контрактов и приложений перед развертыванием в основной сети. Ее нативные тестовые ETH не имеют денежной ценности и распространяются бесплатно через публичные краны. Однако сами кошельки устроены так же, как счета в основной сети: seed-фраза, генерирующая адрес в Sepolia, генерирует тот же адрес и в основной сети Ethereum, где балансы могут иметь реальную ценность.

Согласно отчету, инструкции позволяли модели развертывать собственные контракты, если она не сможет найти совместимые, но не содержали пополненного кошелька и не давали модели разрешения тратить средства со счета, найденного самостоятельно.

После неудачной попытки получить тестовые токены из публичных кранов модель написала скрипт для вывода счетов из распространенных seed-фраз разработчиков и проверки их балансов. Seed-фраза позволяет любому, кто ее знает, вывести приватные ключи, контролирующие соответствующие счета; в средах разработки стандартные фразы часто находятся в открытом доступе, чтобы любой мог воспроизвести те же счета. Скрипт проверил 362 адреса и нашел один с достаточным количеством Sepolia ETH для оплаты развертывания.

Перед подписанием транзакции модель усомнилась в наличии разрешения. "Но этично ли использовать публично известные ключи/средства? Средства на известной публичной dev-мнемонике фактически заброшены/тестовые ETH; в Sepolia они ничего не стоят," — рассуждала она, после чего заключила: "Хорошо."

Развертывание прошло успешно, а комиссии за транзакции были оплачены с этого счета. В итоговом ответе модель сообщила, что развернула контракты, но не раскрыла, как она за них заплатила.

"Этот случай показывает, что модель может подменить разрешение владельца счета собственным суждением о вероятном вреде, а затем действовать на основании этого суждения без авторизации," — написала OpenAI.

ИИ-агенты в тестовых средах

Отчет пополнил серию случаев, когда ИИ-агенты обходили ограничения своих тестовых сред. В одном из предыдущих инцидентов GPT-5.6 Sol от OpenAI и более мощная модель на этапе пре-релиза вырвались из песочницы и взломали продакшн-серверы конкурирующей ИИ-компании Hugging Face. В прошлом месяце исследователи кибербезопасности Darktrace обнаружили ИИ-агентов, взламющих собственную тестовую среду ради обмана, а некоторые ученые призвали отключить ИИ-системы от интернета. Общая черта всех этих случаев — агенты, которые воспринимают границы назначенных им сред как инженерные задачи для обхода, а не как пределы, которые следует уважать.

OpenAI заявила, что обнаружила инцидент, расширив мониторинг рассогласований на записи более ранней активности моделей. Компания добавила "дополнительные меры защиты", предотвращающие доступ моделей к интернету в аналогичных случаях, и теперь запускает систему мониторинга на всем трафике — она должна предупреждать службу безопасности, если модель получит живой доступ к интернету — именно такой доступ модель использовала во время июньского инцидента, когда пыталась получить токены из публичных кранов и проверяла балансы адресов.