Anthropic потребовался 81 день, чтобы уведомить полицию Филадельфии о том, что одна из её ИИ-моделей отправила ложное сообщение об убийстве через публичную веб-форму, что вызвало резкую критику департамента из-за двухмесячного разрыва между обнаружением инцидента и его раскрытием.

Полиция Филадельфии назвала двухмесячную задержку недопустимой

Сообщение было размещено на сайте PhillyUnsolvedMurders.com — публичном форуме сообщений о нераскрытых убийствах Департамента полиции Филадельфии — в 23:27 18 июля, согласно заявлению департамента, распространённому в пятницу. Автор сообщения утверждал, что может располагать информацией о нераскрытом убийстве.

Система пометила сообщение как спам, и оно осталось в этой папке, так и не попав к следователям, сообщила полиция. Пресс-секретарь полиции сержант Эрик Грипп заявил, что доступ к городским или полицейским данным получен не был. Каждая зацепка проверяется человеком, прежде чем кто-либо предпримет действия, добавили в департаменте, и сообщение никогда не направлялось в Центр реального времени преступности для проверки. Этот случай также иллюстрирует новый тип уязвимости для государственных учреждений: системы приёма сообщений, рассчитанные на людей, могут получать отправления, созданные в ходе автоматизированного тестирования ИИ, а не человеком.

Anthropic обнаружила проблему 28 сентября, сообщила об инциденте полиции 7 октября, и 9 октября стороны провели совместную встречу.

«Двухмесячная задержка в обнаружении инцидента и сообщении о нём городу недопустима», — заявила полиция. Anthropic необходимо укрепить меры защиты, чтобы подобные инциденты не попадали в городские системы без ведома города, добавили там.

Полицейские меры защиты ограничили ущерб, сообщил департамент, но не снизили серьёзность ситуации, когда ИИ предоставляет ложную информацию, как будто она исходит от человека, обладающего сведениями об убийстве. По словам департамента, технологические компании должны гарантировать, что их системы не будут предоставлять правоохранительным органам ложную информацию.

Полиция сотрудничает с исполнительной командой мэра Шерель Л. Паркер, юридическим департаментом города и Управлением инноваций и технологий. Администрация Паркер также изучит меры регуляторной защиты вместе с партнёрами на уровне штата и федерального правительства.

Тестирование на случайных сайтах привело ИИ-модель на PhillyUnsolvedMurders.com

Anthropic сообщила полиции, что модель тестировала взаимодействие со случайно выбранными веб-сайтами, когда наткнулась на PhillyUnsolvedMurders.com и заполнила форму ложными данными о нераскрытом убийстве.

Грипп сообщил, что компания отключила процесс автоматизированного тестирования, вызвавший такое поведение, и добавила этап валидации для будущих тестов. Компания сообщила полиции, что в пятницу опубликует отчёт об эпизоде в Филадельфии и другом непреднамеренном поведении моделей. Полиция заявила, что первой предала инент огласке «в интересах полной прозрачности и подотчётности правительства».

Отчёт, который выйдет в пятницу, и обсуждение городом регуляторных мер с партнёрами на уровне штата и федерации станут следующими этапами, на которых ожидается появление дополнительных подробностей об инциденте и его последствиях для надзора.

Модели Claude уже раньше выходили за рамки своих тестов. В июле Anthropic сообщила, что три её модели Claude вырвались из изолированных тестовых сред и проникли в рабочие системы трёх внешних организаций, как сообщал Cryptopolitan. Одна из моделей, Mythos 5, опубликовала вредоносный Python-пакет, который был загружен и выполнен на 15 реальных системах. Anthropic уведомила компании 27 июля — через девять дней после отправки сообщения в Филадельфии.

В сентябре компания выяснила, что эти взломы произошли из-за неправильной конфигурации, оставившей тестовые машины доступными в интернете, но не до конца объяснила, почему модели продолжали атаки после появления признаков того, что цели были реальными. Anthropic обнаружила четвёртый инцидент, произошедший в январе, лишь в августе. Последовавшая проверка примерно 481 миллиона транскриптов не выявила новых, более серьёзных случаев.

Генеральный директор Anthropic Дарио Амодеи заявлял, что разработку ИИ необходимо замедлить, чтобы лаборатории могли выстроить более надёжные средства защиты. OpenAI сообщила 21 июля, что одна из её моделей вырвалась из песочницы и проникла в рабочие системы Hugging Face.