Как сообщает TechCrunch, этим летом инвестор Кэти Джейкобс Стэнтон обнаружила, что ее ИИ-ассистент Instinct отправил письмо от ее имени, не посоветовавшись с ней заранее. Она назвала письмо безобидным. Но нарушение доверия безобидным не было: следующее неавторизованное сообщение точно так же могло стоить кому-то работы, брака или иска в суд.

Привлекательность персональных ИИ-агентов очевидна. Ассистент, который способен выделять приоритетные письма и готовить ответы, помнить о дне рождения родственника и покупать подарок на основе личной переписки, вызывает интерес. Для людей, разрывающихся между требовательной работой, уходом за близкими или ограниченными возможностями здоровья, такая помощь может стать transformative. Инвесторы видят тот же потенциал: Forbes сообщил, что венчурный интерес к Instinct был настолько высоким, что оценка ассистента за считанные недели выросла в пять раз. Но этот случай поднимает важный вопрос: если ассистент получил доступ к нашей жизни, как нам сохранять контроль? Ассистенты, такие как Instinct и Muse от Meta, действуют за пользователей, а не просто отвечают на вопросы или дают рекомендации. Ошибочную покупку можно вернуть; разглашенную личную информацию — уже нет.

Вред уже проявляется. Forbes сообщил, что когда инвестор Джейсон Йе попросил Instinct найти свободные столики на ужин, ассистент вместо этого забронировал один из них, оставив ему не согласованный им сбор за отмену в 200 долларов. TechCrunch сообщил, что один тестировщик не смог добиться удаления своих данных, а другая получила сводку входящих сообщений спустя часы после отключения своего аккаунта. В сентябре исследователь безопасности Патрик Уордл выявил уязвимость в Mac-приложении Muse, которая позволяла вредоносному ПО, уже находящемуся на компьютере, перехватить контроль над ассистентом; Meta быстро устранила проблему.

Теперь проблема добралась и до банковских счетов. На прошлой неделе крупные финансовые учреждения сообщили, что персональные ИИ-агенты работали внутри онлайн-аккаунтов, а в одном случае агент без разрешения позвонил в банк, чтобы подать жалобу. Генеральный директор JPMorgan Chase Джейми Даймон заявил, что банк не допустит непроверенных «внешних агентов внутрь компании», а глава Schwab сказал, что компания активно блокирует неавторизованных агентов. Советник Белого дома Дэвид Сакс возразил, что данные были переданы добровольно и что эти эпизоды «никоим образом не являются кибератаками». Каждая сторона по-своему права, и в этом как раз заключается сложность: до сих пор нет устоявшегося определения того, что означает авторизация, когда действующей стороной является программа.

Сбои к тому же трудно заметить. Запущенный на этой неделе публичный реестр компании Manifold, занимающейся вопросами безопасности, насчитывает 59 инцидентов с июля 2025 года, сорок два из которых раскрыты только за последние четыре месяца. В среднем об инциденте становилось известно через 70 дней, и лишь 11 из 59 были выявлены средствами контроля безопасности. Эти цифры дают компаниям, регуляторам и пользователям общую точку отсчета для понимания того, как часто происходят такие сбои и как долго они могут оставаться скрытыми.

EqualAI, чей генеральный директор является автором колонки, давно утверждает, что надлежащее управление ИИ — это выгодный бизнес, поскольку именно доверие в конечном счете определит, будут ли люди вообще пользоваться этими инструментами. Организация недавно собрала руководителей высшего звена, разрабатывающих и внедряющих агентов, для разбора смоделированного кризиса, и это упражнение снова и снова выявляло одни и те же пробелы. В вымышленной компании журналы аудита были слишком скудны, чтобы восстановить действия агента; в договорах с поставщиками не говорилось, кто отвечает, если агент ошибается; а ответственность за надзор предполагалась, но не закреплялась. Пробелы были наиболее острыми там, где скорость опережала осторожность, и они легли в основу плана действий, подготовленного по итогам упражнения и опубликованного в виде белой книги EqualAI по управлению агентным ИИ.

Правовой ландшафт движется в том же направлении. Закон Калифорнии теперь не позволяет компаниям избегать гражданской ответственности, ссылаясь на то, что ИИ действовал автономно, а сенаторы Хоули и Мерфи предложили распространить федеральный закон о взломе на разработчиков и операторов, чьи агенты по неосторожности наносят ущерб. Те же принципы должны применяться к ассистентам, которых люди впускают в свои дома. Для потребителей они означают четыре обязательства.

Сделать разрешения конкретными. Ассистент должен получать только тот доступ, который требуется для задачи. Разрешение читать входящие сообщения не должно автоматически становиться разрешением отправлять письма от имени пользователя. Прежде чем ассистент потратит деньги, изменит круг лиц с доступом к аккаунту или передаст конфиденциальные данные, должны быть предусмотрены известные пользователям меры защиты.

Назначать ответственность заранее. Если ассистент по ошибке отменит ваш рейс, способ компенсации должен быть ясен. Компании должны еще до развертывания определить, кто расследует несанкционированные действия ассистента, кто может их остановить и как пользователи получают возмещение.

Тестировать с позиции пользователя. Независимое тестирование должно подтверждать, что ассистенты спрашивают перед действием, соблюдают свои ограничения и полностью отключаются при отзыве доступа. Поскольку модели постоянно меняются, тестирование должно быть непрерывным. Открытие Уордла было ценным, и такая работа должна стать нормой.

Сообщать и изучать сбои. Авиация стала одним из самых безопасных видов транспорта в том числе потому, что пилоты и авиакомпании сообщают о опасных сближениях, а следователи учатся на них. От компаний следует ожидать выявления «ИИ-инцидентов», сохранения записей, уведомления затронутых лиц и устранения первопричины, в то время как политики могут установить требования к отчетности по серьезным случаям.

У потребителей тоже есть роль. Им необходимо понимать, какие разрешения они предоставили и как отозвать доступ. Но основная ответственность лежит на компаниях, продающих эти инструменты: они должны определять их пределы и задавать разумные ожидания. Людям не требуется подготовка в области кибербезопасности, чтобы безопасно пользоваться этими инструментами.

Пассажиры садятся в самолеты, не понимая, как те летают, потому что за их безопасность отвечают отрасль и регуляторы. Аналогичная система нужна и для ИИ-ассистентов. Если компании хотят получить доступ к нашим почтовым ящикам, аккаунтам и поручениям, они должны заслужить наше доверие, разъясняя, что именно мы авторизуем, как вернуть контроль и кто отвечает за ошибки, которые их ассистенты совершают от нашего имени.

Мнения, выраженные в авторских колонках Fortune.com, являются исключительно точкой зрения их авторов и не обязательно отражают мнения и убеждения Fortune.

Этот материал изначально был опубликован на Fortune.com.