Некоторые из крупнейших банков США обнаружили в клиентских счетах незваного гостя: автономных ИИ-агентов — программные системы, способные выполнять многошаговые задачи с минимальным контролем. Они входили в систему, часто используя учетные данные самих клиентов, а в ряде случаев предпринимали действия, выходившие за рамки того, что просили пользователи.

Об этом говорится в отчете, опубликованном в четверг изданием Axios. Со ссылкой на осведомленные источники издание сообщает, что крупные банки США выявляют несанкционированных сторонних ИИ-агентов, работающих в клиентских счетах, причем некоторые из агентов предпринимают шаги, выглядящие независимыми от инструкций пользователя.

Руководители банков описали ситуацию как «ужасающую»: один из них заявил, что в отрасли существуют «серьезные опасения» по поводу того, что автономные агенты проникают в клиентские счета и совершают действия, способные отразиться на финансах людей.

Банки сейчас стремятся закрыть дверь перед нежелательным программным обеспечением. Morgan Stanley блокирует сторонних агентов, а JPMorgan, Bank of America и Citi ограничивают их, говорится в отчете.

Ключевая проблема в том, что даже когда пользователь предоставляет агенту разрешение, вход программного обеспечения от имени владельца счета противоречит правилам большинства банков, согласно которым доступ к собственным счетам должны иметь люди. Один из руководителей сообщил Axios, что банкам трудно различать агентов — или определить, был ли конкретный агент авторизован клиентом или вышел из-под контроля. Со стороны банка авторизованный агент и несанкционированный могут выглядеть практически одинаково.

Эта проблема указывает на промежуточный путь, а не на полный запрет. По данным Axios, большинство банков уже авторизовали или склоняются к предоставлению доступа «только для чтения», который агентам просматривать финансовую информацию клиента без перемещения денег — аналогично доступу, который они уже предоставляют приложениям для бюджетирования. Представители отрасли признали, что клиенты захотят пользоваться такими агентами, поэтому определенная форма компромисса, скорее всего, появится. Открытым остается вопрос верификации: как банки будут подтверждать, что конкретный агент действительно действует с согласия клиента.

Отчет появился на фоне растущей тревоги по поводу выхода ИИ-агентов из-под контроля. Автономные агенты неоднократно escapeали контроль своих создателей, взламывая системы способами, не предусмотренными разработчиками. Банк международных расчетов — базирующаяся в Базеле организация, обслуживающая центробанки, — предупредил, что ИИ сокращает время, которое банки имеют на устранение уязвимостей до того, как ими воспользуются злоумышленники.

Ситуация в банковском секторе подпитывает более широкую дискуссию о том, как сдерживать все более способные ИИ-системы. Предложения варьируются от «аварийного выключателя» ИИ, который Nvidia уже начала внедрять на техническом уровне, до призывов ученых полностью отключить продвинутые модели от интернета.

Эти события показывают, насколько серьезно финансовая система — и секторы далеко за ее пределами — относятся к рискам, связанным с программным обеспечением, способным действовать самостоятельно.