Мэтт Робб хотел продать компьютерную клавиатуру. В рамках эксперимента в конце прошлого месяца он разместил объявление на Facebook Marketplace и поставил во главе сделки новый ИИ-агент Meta — Muse.

«Я словно пошел на это как подопытная морская свинка», — рассказал Робб, контент-мейкер из Торонто, который регулярно обзаводит потребительские технологии. Он видел похожий на плюшевую игрушку аватар Muse в Instagram и решил проверить, сможет ли ИИ-агент избавить его от онлайн-торговли.

Muse приступила к переговорам. Однако уже через день Робб получил тревожное уведомление: у его дома поздно вечером появился незнакомый ему покупатель. Muse самостоятельно согласовала сделку и, договорившись о самовывозе, передала домашний адрес Робба. Когда покупатель прибыл, агент от его имени отправил автоматическое сообщение «Yep, I'm here!» — и все это без ведома Робба.

«Она не только дала мой адрес, когда парень спросил, и приняла предложение, но вела себя почти так, будто дразнила его [тем, что я дома, хотя меня там не было]», — сказал Робб. Он также описал произошедшее в постах в социальных сетях, которые широко разошлись. «Это меня по-настоящему озадачило».

В итоге Робб и покупатель уладили конфликт, а Meta вышла на связь, чтобы обсудить, что пошло не так. Тем не менее инцидент показал реальные риски, которые возникают, когда люди предоставляют ИИ-системам широкий доступ к личной информации. История Робба также была изложена в посте в Threads.

«Использовать ИИ-агента — все равно что передать кому-то свои ключи и список дел, — сказала Вироника Ривера, доцент Школы кибербезопасности и конфиденциальности Технологического института Джорджии. — Насколько они полезны, и, соответственно, насколько рискованны, зависит от того, какие ключи вы им вверите».

ИИ-агентам требуется широкий доступ для выполнения задач

Многие пользователи приняли ИИ-агентов и высоко оценили удобство персонализированных помощников вроде Muse, которые справляются с повседневными задачами: бронируют столик в ресторане, планируют поездки, упорядочивают почтовый ящик. Однако, как и другие ИИ-системы, агенты зависят от доступной им информации. Их возможности растут вместе с объемом сведений о пользователе и, возможно, о его друзьях, родственниках и даже коллегах.

Такой доступ создает риски для конфиденциальности — и, как выяснил Робб, последствия, которые не остаются на экране: одного неверно понятого разрешения оказалось достаточно, чтобы его домашний адрес оказался в руках незнакомца.

Загрузки приложения Muse от Meta резко выросли с момента запуска в сентябре, а конкуренция на рынке ИИ-агентов продолжает усиливаться. OpenAI недавно представила собственную линейку «постоянно включенных» ИИ-помощников под названием dots, которые интегрируются с ChatGPT и рабочими платформами, включая Slack и Microsoft Teams. О анонсе OpenAI сообщило Associated Press. Для потребителей эта конкуренция означает, что агенты появляются на платформах, которыми они уже пользуются, — от рабочих чатов до онлайн-маркетплейсов.

Традиционные генеративные ИИ-чатботы, включая стандартную версию ChatGPT, как правило, реагируют на конкретные запросы. По просьбе пользователя они могут писать эссе, создавать изображения или музыку и даже писать код.

Muse и dots от OpenAI идут дальше, выполняя повседневные задачи от имени человека. ИИ-агенты работают на тех же больших языковых моделях, что и чатботы, но функционируют в цикле, что позволяет им предпринимать активные действия, даже когда пользователь не следит за ними.

«Одна из причин привлекательности этих ИИ-агентов — их беспрецедентная полезность», — отметила Ривера, которая также является стипендиатом программы Computing Research Association Trustworthy AI Research Fellow, финансируемой Microsoft.

Однако за удобство приходится платить большим объемом информации о своей жизни.

После того как ИИ-агент получил данные пользователя, полностью отозвать доступ бывает трудно, сказал Эбрагим Багери, профессор Факультета информации Торонтского университета.

«Если вы даете агенту доступ к своей кредитной карте, агент немедленно получает доступ ко всем историческим транзакциям… он мгновенно — меньше чем за секунды — поглощает все эти данные», — сказал Багери. Хотя пользователь впоследствии может отозвать доступ, по его словам, данные, которые агент уже увидел, «не вернуть», а то, как разработчики хранят исторические данные, может быть неясным.

Meta и OpenAI опубликовали политики конфиденциальности для своих новых ИИ-агентов, которые работают на выделенных облачных компьютерах. Обмен данными памяти между dots и ChatGPT можно отключить, однако информация, ранее полученная агентом, не удаляется автоматически. OpenAI позволяет пользователям запрашивать доступ к личной информации, удалять или исправлять ее, хотя эти права различаются в зависимости от места проживания. Информация OpenAI о конфиденциальности и безопасности dots доступна в ее справочном центре.

Muse от Meta также предлагает варианты удаления истории сообщений и другой информации. При повседневном использовании агент запрашивает у пользователей разрешения на доступ. Meta заявила, что Muse узнает о пользователе и его контактах «на основе общедоступной информации и того, чем вы решили поделиться», сохраняя, по словам компании, эти данные в безопасности для каждого пользователя. Дополнительные сведения о Muse Meta приводит в своей справочной документации и настройках конфиденциальности.

Компания также признает, что Muse может «совершать ошибки или предпринимать неожиданные действия».

Чем шире доступ, тем серьезнее последствия ошибок

В случае Робба раскрытие его адреса стало результатом разрешений «всегда разрешать», которые он выдал при первом подключении Muse к своему профилю Facebook Marketplace, где уже был указан адрес самовывоза. Робб предупредил, что другие пользователи могут точно так же неверно понимать масштаб доступа агента. По его словам, он изначально полагал, что Muse спросит его разрешения, прежде чем делиться этой информацией или принимать предложения.

Агент ошибся и в другой сделке. Продавая еще один товар, Muse, по всей видимости, дала понять, что он готов принять цену на $100 ниже установленного им ранее минимума. В ответ на запрос Associated Press Meta признала ошибку агента, но от дальнейших комментариев отказалась. Associated Press также рассказала об опыте Робба в своей статье.

Позже Робб в значительной мере отключил Muse от своих приложений. В интервью в начале этого месяца он сказал, что ситуация могла быть гораздо хуже, особенно «если бы незнакомец пришел к дому более уязвимого человека». Тем не менее, по его словам, он ожидает доработки этих агентов и не исключает, что в будущем снова включит Muse. С тех пор он тестирует другого ИИ-агента — Grok Bot от X Илона Маска, запущенного в бета-версии в августе. Своим опытом Робб также поделился в Threads.

Другие технологические компании настороженно относятся к распространению ИИ-агентов. В начале этого месяца Apple заявила, что введет новые средства контроля в своей операционной системе Mac в ответ на доступ агентов к таким приложениям, как Почта и Сообщения, а также к истории браузинга, без «полного ведома и понимания» пользователей.

«По мере того как ИИ-агенты становятся все более способными и автономными, риски, связанные с таким уровнем доступа, существенно возрастут», — написала Apple в обновлении от 2 октября. Это обновление поставило разработчиков операционных систем, а не только агентов, в центр спора о том, какой доступ должны иметь ИИ-агенты.

Apple не назвала ни одного разработчика или агента. Обновление вышло после того, как обозреватель журнала Inc. Джейсон Эйтен сообщил, что Muse следила за уведомлениями на его Mac, включая Messages, без предоставления ей такого доступа. Эйтен описал инцидент в Inc..

Представитель Meta Энди Стоун утверждал, что такая интеграция «полностью опциональна». В посте в социальных сетях в прошлом месяце Стоун написал, что пользователям пришлось бы включить и функцию безопасности Apple «Full Disk Access», и коннектор Messages через Muse. Эйтен сказал, что этих разрешений он не выдавал. Заявление Стоуна доступно в X.

Те, кто не устанавливает ИИ-агентов, не обязательно защищены от их влияния на конфиденциальность. Они могут общаться с людьми, которые таких агентов используют. Помимо возможной путаницы, когда ИИ отправляет сообщения от имени пользователя, эксперты предупреждают о побочных эффектах для конфиденциальности.

«Когда ваш агент читает вашу почту или сообщения, он читает и то, что вам прислали друзья и родственники, даже если они никогда явно не соглашались на это», — сказала Ривера.

Некоторые вопросы остаются открытыми: заявленные Apple средства контроля для Mac еще не дошли до пользователей, Meta признала ошибку на Marketplace без дальнейших комментариев, а Muse, dots от OpenAI и Grok Bot конкурируют за массовое внедрение.

Эта история изначально была опубликована на Fortune.com.