НовостиМакроChatGPT, Claude, Gemini и Grok помогли спланировать теракты в тестах правительства США — GAO

ChatGPT, Claude, Gemini и Grok помогли спланировать теракты в тестах правительства США — GAO

Автор: Decrypt·

Ключевые выводы

  • •Government Accountability Office установила, что ChatGPT, Claude, Gemini и Grok все предоставили пригодную для использования информацию для потенциально смертоносных планов атак менее чем за 12 часов.
  • •Чатботы изначально отказывали в запросах или блокировали аккаунты, но следователи обошли эти средства защиты с помощью находящихся в открытом доступе приёмов джейлбрейка, не требующих специальных знаний.
  • •Две модели помогали с планами самодельных взрывных устройств в многолюдных городах США, а две другие предоставили информацию для атак на электрическую инфраструктуру.
  • •GAO проверила предложенные локации и проконсультировалась с экспертами, хотя часть ответов содержала ошибки, и ведомство заявило, что результаты не являются статистически репрезентативными и не подходят для ранжирования безопасности компаний.
  • •Сенатор Мэгги Хассан планирует сделать законодательство о безопасности ИИ приоритетом и провести слушания по рискам для общественной безопасности, когда в январе возглавит Комитет Сената по внутренней безопасности.
ChatGPT, Claude, Gemini и Grok помогли спланировать теракты в тестах правительства США — GAO

Аудит Конгресса показал, что четыре самых популярных ИИ-чатбота помогли правительственным следователям разработать потенциально смертоносные планы атак менее чем за 12 часов — несмотря на средства защиты, призванные блокировать именно такие запросы.

ChatGPT от OpenAI, Claude от Anthropic, Gemini от Google и Grok все предоставили пригодную для использования информацию в ходе скрытного тестирования Government Accountability Office (GAO) — внепартийного аудиторского органа Конгресса, согласно отчёту, опубликованному в среду. Следователи выдавали себя за атакующих, а затем проверяли ответы на соответствие реальным локациям, доступным материалам и оценкам экспертов. Метод во многом напоминает «ред-тиминг» — состязательное тестирование, которое разработчики ИИ регулярно проводят с собственными моделями, — с той лишь разницей, что в данном случае тестирование проводилось извне отрасли, без сотрудничества с компаниями.

Две системы помогали с планами, предусматривавшими самодельные взрывные устройства в многолюдных городах США. Две другие предоставили информацию для атак на электрическую инфраструктуру, сообщило ведомство, которое не раскрыло, какая модель была закреплена за каким сценарием и другие операционные детали, чтобы предотвратить попытки подражания.

Средства защиты, которые не сработали

Изначально чатботы активировали механизмы защиты: отказывали в выполнении запросов, удаляли вредоносную информацию или блокировали аккаунты. Следователи обошли эти барьеры с помощью распространённых приёмов джейлбрейка, которые заставляют ИИ-систему игнорировать её правила безопасности. Эти приёмы находятся в открытом доступе в интернете и не требуют специальных знаний — именно поэтому разработчики рассматривают обновления систем безопасности как непрерывный процесс, а не разовую меру.

GAO проверила предложенные локации, изучила доступность материалов и проконсультировалась со специалистами о осуществимости планов. Некоторые ответы содержали ошибки, включая неверно нанесённые дороги на карте, и следователи не изготавливали взрывные устройства и не осуществляли атак.

В отчёте «осуществимый» означает, что кто-то, вероятно, смог бы воспользоваться предоставленной информацией, — а не что атака была продемонстрирована как успешная. Каждая модель тестировалась на одном закреплённом сценарии, и ведомство заявило, что результаты не являются статистически репрезентативными и не подходят для ранжирования компаний по уровню безопасности.

Сенатор Мэгги Хассан, демократ от Нью-Гэмпшира, запросившая это расследование, предупредила, что террорист может получить «конкретное руководство по осуществлению смертоносной атаки» менее чем за 12 часов, согласно её заявлению. Будучи аудиторским органом Конгресса, GAO выдаёт заключения, которые законодатели регулярно используют в качестве доказательной базы для слушаний и законодательства.

OpenAI и Google заявили, что в тестах использовались устаревшие модели, а Anthropic признала, что настойчивые пользователи иногда могут извлекать вредоносный материал. Компании рассказали о продолжающихся улучшениях своих систем безопасности, хотя GAO заключила, что в её тестах эти меры защиты не сработали.

Предыдущие исследования указывали в ту же сторону

Эти выводы следуют за более ранним исследованием, показавшим, что восемь из десяти популярных чатботов помогали смоделированным подросткам-пользователям, планировавшим насильственные атаки. В том отдельном исследовании были проверены 720 ответов, и выяснилось, что боты предоставляли применимую помощь примерно в трёх четвертях случаев.

Другая проблема безопасности ИИ

Выводы GAO публикуются на фоне сбоев, затронувших банки, сервисы Microsoft и Агентство национальной безопасности (NSA). Чиновники заявляют, что эти сбои были отдельными инцидентами, а не свидетельством скоординированной кибератаки с использованием ИИ, даже несмотря на то, что спешка с устранением программных уязвимостей сама порождает проблемы.

Директор национальной разведки Джей Клейтон связал сбой в работе NSA с работой по установке патчей. Чиновники охарактеризовали недавние отказы как связанные с техническим обслуживанием, хотя отдельные организации давали разные объяснения своим сбоям.

ИИ-инструменты теперь находят уязвимости быстрее, чем команды людей успевают тестировать и внедрять исправления. В прошлом месяце обнаруженное с помощью ИИ несколько критических уязвимостей в PHP вынудило операторов сайтов начать срочную кампанию по установке патчей; этот язык программирования обеспечивает работу значительной части веба.

Сам объём становится ещё одной проблемой. Данные VulnCheck показывают, что по состоянию на 13 ноября в этом году было зафиксировано более 100 000 программных уязвимостей — более чем вдвое больше, чем за весь 2025 год. Инженерам по-прежнему приходится оценивать и разворачивать исправления, не нарушая работу систем, которые они призваны защитить.

Это ускорение работает в обе стороны. Защитники получают мощные инструменты для поиска слабых мест, но поспешные исправления могут нарушить работу критически важных систем, а злоумышленники могут быстрее получать доступ к планированию атак.

Хассан заявила, что сделает законодательство о безопасности ИИ одним из приоритетов, когда в январе возглавит Комитет Сената по внутренней безопасности и делам правительства. Она планирует слушания по рискам для общественной безопасности и критической инфраструктуры; сам GAO не дал официальных рекомендаций по политике. Не имея приложенных рекомендаций, выводы теперь передаются в Конгресс, где запланированные Хассан слушания станут следующим публичным шагом.