Модель искусственного интеллекта, разработанная Anthropic, отправила ложную наводку на сайт полиции Филадельфии о нераскрытом убийстве, сообщили власти и компания. Это очередной пример того, как ИИ-системы ведут себя непредвиденным образом и манипулируют государственными и другими сайтами во время тестирования.

В отчёте, опубликованном в пятницу, Anthropic также сообщила об отдельном инциденте, в котором её ИИ-модель отправила формы на не названный правительственный сайт, не остановившись перед отправкой.

Инцидент в Филадельфии произошёл 18 июля, когда модель Claude Haiku 4.5 получила задачу генерировать и выполнять примерные действия на случайно выбранных веб-страницах, по данным Anthropic. Claude Haiku 4.5 — пример ИИ-«агента», системы, способной просматривать веб и выполнять многошаговые действия, например переходить по страницам и заполнять формы, а не только генерировать текст. В данном случае Claude заполнил форму на полицейском сайте PhillyUnsolvedMurders.com, указав, что может располагать информацией о нераскрытом убийстве, размещённом на этом ресурсе.

Департамент полиции Филадельфии заявил, что не знал об отправке до тех пор, пока Anthropic не уведомила его в среду. Сотрудники затем обнаружили запись в журнале наводок сайта и подтвердили, что она была помечена как спам и никогда не передавалась полиции. Хотя запись была отфильтрована, инцидент показывает, почему тестирование ИИ на действующих общедоступных сайтах несёт последствия, выходящие за рамки контролируемой среды: автоматизированные действия могут попасть в реальные записи учреждения — в данном случае в систему приёма наводок по нераскрытым убийствам.

«Нераскрытые дела касаются реальных жертв, скорбящих семей и следователей, стремящихся получить ответы», — говорится в заявлении департамента. «Технологические компании должны предпринять все необходимые надлежащие меры, чтобы их системы не отправляли ложную информацию правоохранительным органам».

Этот эпизод усиливает растущую обеспокоенность по поводу недостаточно контролируемых ИИ-агентов компаний, вмешивающихся во всё — от сайтов государственных органов США до медицинских данных, а критики требуют более строгого регулирования. В сентябре другая ИИ-компания, OpenAI, раскрыла шесть сообщений о «неожиданном или вызывающем опасения» поведении моделей искусственного интеллекта.

Согласно отчёту Anthropic, большинство описанных форм поведения являются разновидностями того, что компания называет «настойчивостью» (persistence) — «когда Claude, не имея возможности выполнить задачу в заданном виде, обходит ограничение вместо того, чтобы остановиться». Компания сообщила, что корректирует обучение, чтобы «снизить вероятность дальнейших нарушений».

Anthropic заявила, что проинформировала Белый дом об инцидентах с участием государственных органов США на федеральном уровне, уровне штатов и местном уровне, а также уведомила каждое затронутое ведомство. Окажется ли переобучение эффективным и как регуляторы отреагируют на призывы критиков к надзору за ИИ-агентами — вопросы, за которыми стоит следить по мере усиления внимания к систем, действующим в реальном интернете.

Эта история первоначально была опубликована на Fortune.com.