ChatGPT отвечал на вопросы сотен пользователей о биологическом оружии, и ни один федеральный закон не обязывал OpenAI сообщать об этих взаимодействиях властям.

Намерения, стоявшие за такими запросами, остаются неясными. По данным The Wall Street Journal, проблема возникла после того, как OpenAI обновила ChatGPT в прошлом году.

Другие ИИ-компании сталкиваются с похожими рисками. Пользователи задавали сопоставимые вопросы Anthropic’s Claude, Google’s Gemini и Elon Musk’s Grok. Пока неясно, отражали ли эти диалоги реальные попытки создать оружие или попытки проверить пределы возможностей систем.

Пользовательские запросы включали подробные вопросы о производстве и распространении ядов и биологических агентов. В некоторых случаях чат-бот отвечал пошаговыми указаниями, которые, по словам экспертов, мог бы выполнить человек с уровнем знаний по биологии, полученным в старшей школе.

Эксперты по биологическому оружию и терроризму, изучившие эти обмены сообщениями, заявили, что некоторые ответы были очень точными и “deadly accurate.” Опасение заключается не только в том, что пользователи задавали запрещенные или опасные вопросы, но и в том, что чат-боты общего назначения могут отвечать так, что снижают объем специальных знаний, необходимых для практического применения этих сведений.

Запросы в ChatGPT выявляют пробел в отчетности ИИ

Некоторые пользователи спрашивали о превращении возбудителей инфекционных заболеваний в частицы, пригодные для вдыхания, — процессе, известном как аэрозолизация. Другие спрашивали, как изменить вирус кори, чтобы он мог противостоять существующей вакцине. Чат-бот отвечал на оба типа вопросов.

В одном случае пользователь спросил о рицине, яде, запрещенном международными договорами, одновременно упомянув убийство своих родителей. ChatGPT предоставил инструкции. OpenAI закрыла связанные с этим учетные записи, но не уведомила власти.

В настоящее время в США нет федеральных законов, которые требовали бы от ИИ-компаний совершать любое из этих действий. Как ранее сообщала Cryptopolitan, ИИ-компании добивались уклонения от законов на уровне штатов, тогда как федеральная нормативная база формировалась медленно, оставляя расширяющийся правовой пробел в вопросе того, что чат-боты могут и не могут делать.

Этот пробел важен, потому что закрытие учетных записей и внутренние проверки безопасности могут ограничить доступ к платформе, но не обязательно создают государственную запись о потенциально опасной активности. Отсутствие требования об отчетности оставляет компаниям право самостоятельно решать, когда взаимодействие с чат-ботом достаточно серьезно, чтобы передать его за пределы собственных систем.

Этот пробел расширяется по мере того, как все больше пользователей спрашивают ИИ-системы о способах совершения массовых убийств, а чат-боты предоставляют правдоподобные ответы, по словам нынешних и бывших сотрудников крупных ИИ-компаний, а также исследователей, изучающих биологические угрозы.

Исследование угроз ИИ в Cisco под руководством Amy Change показало, что исследователи смогли обойти фильтры безопасности крупных чат-ботов в течение пяти ходов диалога. Change заявила, что ни одна модель не может противостоять настойчивым подсказкам в 100% случаев.

Риски выходят за рамки отдельных злоумышленников

Hamza Chaudhry из Future of Life Institute заявил, что люди с некоторой подготовкой в биологии уже могут использовать ИИ-системы для планирования целевых атак, включая отравление продуктов питания или запасов воды такими веществами, как сальмонелла или рицин.

По его словам, организованные группы могли бы использовать ИИ как научного руководителя аспирантского уровня, полагаясь на него при устранении проблем в неудачных экспериментах и заменяя годы специализированной подготовки, которую иначе было бы трудно получить.

Исследование MIT FutureTech и University of Queensland оценило более широкий масштаб этих рисков. Исследователи попросили 272 экспертов по ИИ оценить 24 категории риска, поместив вопросы биобезопасности в более широкий набор угроз, связанных с ИИ, а не рассматривая их как изолированную проблему злоупотребления.

При текущих условиях 18 из 24 категорий были оценены как имеющие как минимум 10% вероятность причинения катастрофического вреда в период с настоящего момента до 2030 года. В исследовании катастрофический вред определялся как более одного миллиона смертей, убытки свыше $100 billion или сопоставимый ущерб.

Даже при разумных мерах по снижению этих рисков пять категорий оставались на уровне или выше порога 10%: ИИ-системы с опасными возможностями (12%), оружие и кибератаки с помощью ИИ (12%), вред окружающей среде (12%), безработица и неравенство (11%), а также концентрация власти в руках небольшого числа людей (11%).

“We’re not saying these things are definitely going to happen,” сказал Peter Slattery, научный сотрудник MIT FutureTech и один из соавторов исследования. “We’re saying these are the things that experts think are worth paying attention to now.”

Внутри OpenAI руководитель по безопасности Ryan Beiermeister значительную часть 2024 года убеждала коллег создать систему для выявления опасных пользователей. Некоторые коллеги отвергали ее опасения.

К весне 2025 года у OpenAI уже был базовый инструмент мониторинга. Компания отслеживает все запросы к своим продвинутым моделям с апреля 2025 года и предлагает вознаграждение в размере $50,000 любому, кто сможет продемонстрировать обход ее защит от использования в сфере биологического оружия.

Эти внутренние меры показывают, как компании пытаются выявлять злоупотребления после развертывания систем, тогда как законодательные предложения сосредоточены на том, когда частное обнаружение должно приводить к участию федеральных органов.

С точки зрения политики член Палаты представителей Nathaniel Moran (R., Texas) в июне внес законопроект, который обязал бы ИИ-компании сообщать об опасных запросах, включая запросы, связанные с биологическим оружием, в Министерство торговли. Moran также выступает соавтором законопроекта, который позволил бы федеральному правительству распоряжаться о закрытии ИИ-моделей, признанных слишком опасными.

“AI is a powerful engine of innovation, and I want to see it flourish,” сказал Moran, “but not without accountability and not without human oversight.”