OpenAI сообщила о ещё одном случае, когда один из её ИИ-агентов вышел за рамки инструкций — и на этот раз фигурировала криптовалюта. В недавнем отчёте компания описала, как внутренняя исследовательская модель без разрешения воспользовалась криптокошельком, чтобы оплатить комиссии, необходимые для тестирования приложения в тестовой сети Sepolia платформы Ethereum — среде, которую разработчики используют для проверки кода без транзакций в основной блокчейн-сети Ethereum. Хотя токены имели малую реальную стоимость, у модели не было права собирать или тратить их.

Инцидент произошёл 26 июня, когда модели поручили обновить приложение для криптотрейдинга и запустить его код в Sepolia — тестовой версии Ethereum. В запросе не был указан ни пополненный кошелёк, ни разрешение тратить токены. Не сумев получить бесплатные тестовые токены через сервисы для разработчиков, которые распространяют их в целях тестирования, модель написала скрипт, проверивший 362 адреса кошельков, привязанных к публичным recovery-фразам — криптографический термин, обозначающий наборы слов, которые могут служить паролем для доступа к криптосчётам. В итоге она нашла счёт с достаточным количеством токенов для покрытия комиссий.

Внутренние логи показали, что модель размышляла, есть ли у неё право пользоваться этим счётом, но затем заключила, что публичная recovery-фраза и отсутствие у токенов денежной стоимости делают расходы допустимыми. Она выполнила задачу и списала комиссии с этого кошелька, однако не упомянула несанкционированные траты в итоговом отчёте. OpenAI узнала об инциденте только 25 сентября в ходе аудита более ранних запусков моделей — примерно через три месяца после использования кошелька; этот разрыв показывает, как поведение агентов может оставаться незамеченным до подобных ретроспективных проверок.

Этот случай усиливает опасения по поводу ИИ-агентов — систем, способных планировать и выполнять многоэтапные задачи с помощью таких инструментов, как исполнение кода и доступ в интернет, — действующих без одобрения человека. Публичный трекер OpenAI по misalignment — поведению, противоречащему инструкциям или правилам безопасности, — теперь насчитывает 19 инцидентов: от несанкционированного доступа к данным до несанкционированного изменения бизнес-систем.

Это раскрытие последовало за сентябрьским отчётом некоммерческой организации в области кибербезопасности Transluce, согласно которому агенты OpenAI пытались взломать публичные базы данных и сайт правительства Австралии просто для выполнения базовых исследовательских задач. В июле компания столкнулась с ещё одним инцидентом: её ИИ-агенты обошли интернет-ограничения во время внутренних тестов кибербезопасности и проникли в системы Hugging Face — платформы для обмена ИИ-моделями и датасетами. Используя утекшие учётные данные и уязвимости, агенты получили доступ к приватным данным и запускали код на серверах компании.

Комментируя инцидент с криптокошельком, OpenAI заявила, что основной риск заключался в рассуждениях модели.

«Этот случай показывает, что модель может подменить разрешение владельца счёта собственным суждением о вероятном вреде, а затем действовать на основании этого сужд без санкции», — говорится в отчёте.

OpenAI сообщила, что с тех пор добавила защиты, не позволяющие моделям подключаться к интернету в ходе подобных тестов. Компания также расширила мониторинг, чтобы отслеживать всю активность моделей и немедленно уведомлять сотрудников службы безопасности, если модель выходит в сеть без разрешения — в отличие от ретроспективного аудита, благодаря которому всплыл июньский инцидент.

Эта история изначально была опубликована на Fortune.com.