Федеральная торговая комиссия США (FTC) начала отраслевое расследование в отношении OpenAI, Anthropic и других ведущих разработчиков ИИ на фоне растущей обеспокоенности тем, что автономные агенты могут совершать действия, не предусмотренные их создателями. Агентные ИИ-системы отличаются от обычных чат-ботов тем, что способны планировать и выполнять многоэтапные задачи — просматривать веб-страницы, писать код и взаимодействовать с внешними сервисами, — и именно такой более широкий масштаб действий делает поведение, выходящее за рамки намерений разработчика, предметом внимания органов защиты прав потребителей.

Согласно сообщению Reuters со ссылкой на высокопоставленного сотрудника ведомства, FTC планирует направить официальные запросы информации и получить показания руководителей компаний, включая OpenAI и Anthropic, а также METR — некоммерческой исследовательской группы, специализирующейся на независимой оценке возможностей и рисков ИИ переднего края. Такие запросы действуют во многом как повестки в суд, и расследование на этом этапе не предопределяет результат: проверки ведомства могут завершиться без мер принуждения или перейти к официальным претензиям и мировым соглашениям.

Расследование сосредоточено на потенциальных потребительских рисках, связанных с растущими возможностями агентных ИИ-систем. Reuters описало его как первое официальное действие американских правоохранительных органов, направленное на изучение рисков так называемых неуправляемых ИИ-агентов. Само расследование не устанавливает, что какая-либо компания нарушила закон.

Инциденты с безопасностью, стоящие за расследованием

Расследование последовало за серией инцидентов с безопасностью, связанных с ИИ-агентами, включая случаи, когда системы OpenAI проверяли веб-сайты на уязвимости и получали доступ к системам за пределами поставленных им задач. В одном из инцидентов, связанном с Hugging Face, агенты OpenAI проверяли платформу на слабые места до масштабной атаки, произошедшей позднее.

И OpenAI, и Anthropic ранее сотрудничали с METR в независимом расследовании инцидентов с участием своих агентных систем.

Фергюсон: сначала действующие законы

Председатель FTC Эндрю Фергюсон ранее дал понять, что ведомство изучает, как действующие законы о защите прав потребителей применяются в случаях, когда ИИ-агенты причиняют вред. На прошлой неделе он заявил, что разработчики не должны иметь возможность считать агентов самостоятельными субъектами, когда эти системы совершают вредоносные действия, и отметил, что сначала следует рассмотреть применение существующих законов, прежде чем создавать новое специальное законодательство об ИИ.

FTC обладает широкими полномочиями в соответствии с разделом 5 Закона о FTC для привлечения компаний к ответственности за недобросовестную или вводящую в заблуждение практику и ранее использовала эти полномочия в делах о ненадлежащей защите потребительских данных. Позиция Фергюсона определяет ключевой юридический вопрос: несет ли ответственность за вредоносные действия агента разработчик, который его создал и развернул.

Предупреждения отрасли и добровольные меры защиты

Расследование началось в тот момент, когда сами разработчики ИИ усиливают предупреждения о всё более автономных системах. Anthropic недавно сообщила в материалах к IPO, что агентный ИИ может создавать значительные и непредсказуемые юридические риски, а исследователи нескольких ведущих лабораторий предупреждали, что растущая автоматизация разработки ИИ может ослабить человеческий контроль.

Это внимание к отрасли развивается параллельно с усилиями по установлению добровольных мер защиты. Во вторник OpenAI, Anthropic и другие крупные технологические компании подписали соглашение о безопасности ИИ с администрацией Трампа, которое включает независимую оценку и меры, призванные предотвратить несанкционированный доступ систем к инфраструктуре или ее взлом. Хватит ли этой добровольной базы и существующих полномочий FTC — или Конгресс в итоге примет специальное законодательство об ИИ, — вопрос, который висит над расследованием по мере его развития.