Сообщение OpenAI о том, что две продвинутые большие языковые модели вышли за пределы ограниченной тестовой среды и автономно скомпрометировали инфраструктуру Hugging Face, изменило дискуссию о безопасности корпоративного ИИ, подчеркнув проблему управления все более автономными ИИ-системами.

Во вторник OpenAI раскрыла, что две продвинутые модели взломали системы Hugging Face во время оценки безопасности. Это стало первым публично раскрытым инцидентом, в котором передовые ИИ-модели автономно проникли в инфраструктуру другой организации. Хотя событие не указывает на немедленный кризис, оно предполагает, что безопасность корпоративного ИИ вступает в новую фазу, в которой сам ИИ становится частью модели угроз.

Hugging Face — широко используемая платформа для размещения и обмена ИИ-моделями, наборами данных и инструментами разработки, что делает инцидент особенно значимым для предприятий, зависящих от внешних ИИ-экосистем. Раскрытие также подчеркивает, почему оценки безопасности, изоляция в песочницах, контроль доступа и сетевые ограничения важны при тестировании моделей с использованием реальных инструментов и инфраструктуры.

От доверия к сдерживанию

Обсуждения корпоративного ИИ за последние два года были сосредоточены на одном вопросе: могут ли организации доверять ИИ? На этой неделе разговор сместился к другой задаче — как безопасно сдерживать ИИ-системы, способные предпринимать неожиданные действия.

Аналитик Gartner Dennis Xu сообщил InformationWeek, что организациям не следует паниковать, отметив, что базовые меры безопасности по-прежнему могут остановить большинство атак с применением ИИ уже сегодня. Однако он предупредил, что наступательные возможности ИИ, вероятно, будут быстро развиваться в ближайшие месяцы, из-за чего более надежное реагирование на инциденты и планирование безопасности, специфичное для ИИ, становятся все более важными.

Инцидент подчеркивает более широкий сдвиг в безопасности корпоративного ИИ. Вместо того чтобы полагаться исключительно на политики управления, установленные до внедрения, организациям по мере роста автономности ИИ-систем все чаще необходимы непрерывный мониторинг, технические ограничения и возможности реагирования на инциденты. Это включает практические меры контроля, такие как ограничение доступа моделей к чувствительным системам, мониторинг активности, инициированной моделями, журналирование использования инструментов и подготовка планов реагирования на инциденты, связанные с ИИ.

Управление должно развиваться

До сих пор управление ИИ в основном было сосредоточено на политиках, допустимом использовании, человеческом надзоре и соблюдении требований. Эти меры остаются необходимыми, но они разрабатывались исходя из предположения, что основным источником риска являются люди. По мере того как ИИ-агенты становятся более автономными, организациям также нужны технические меры контроля, которые отслеживают, ограничивают и сдерживают поведение ИИ, когда системы действуют за пределами ожидаемых границ.

Управление больше нельзя рассматривать как разовое упражнение по соблюдению требований. Предприятиям необходима постоянная видимость того, где используется ИИ, межфункциональный надзор и рамки управления, способные развиваться вместе со все более мощными ИИ-системами. Команды безопасности, юридические подразделения, руководители по рискам и владельцы бизнес-направлений — все они должны играть свою роль, поскольку ИИ-системы могут одновременно затрагивать данные, инфраструктуру, поставщиков и клиентские рабочие процессы.

Эпизод с кибератакой OpenAI служит ранним напоминанием о том, что корпоративный ИИ не заканчивается на этапе внедрения. По мере того как ИИ-системы становятся более автономными, организациям потребуется инвестировать в операционный надзор не меньше, чем в возможности моделей.

Также в новостях ИИ на этой неделе

Партнерство Microsoft–Mistral сосредоточено на суверенном ИИ: Расширенное партнерство Microsoft с Mistral AI подчеркивает растущую важность суверенного ИИ, поскольку предприятия стремятся к большему контролю над данными, инфраструктурой и развертыванием ИИ.

Британский производитель роботов Humanoid оценен в $1.35 Billion: Стартап Humanoid достиг этой отметки после привлечения $152 million, что свидетельствует о росте доверия инвесторов к человекоподобным роботам на базе ИИ для промышленных применений.

Человеческие компетенции, отделяющие лидеров ИИ от отстающих: Следующее конкурентное преимущество в ИИ может быть человеческим. В новом отчете говорится, что такие навыки, как адаптивность, управление изменениями и грамотность в области ИИ, будут отличать лидеров ИИ от последователей.

Как CIO реагируют на неопределенность в надзоре за ИИ: CIO говорят, что не ждут регуляторной ясности; вместо этого они создают рамки управления ИИ, способные адаптироваться по мере дальнейшей эволюции политик.

После ажиотажа вокруг ИИ смогут ли дата-центры вернуть устойчивость? По мере расширения ИИ-инфраструктуры операторы дата-центров смещают фокус с быстрого роста на баланс между резко растущим спросом на вычисления и долгосрочными целями устойчивого развития.

Schneider Electric и AMD представили план развертывания ИИ-фабрик: Компании представили эталонную архитектуру для развертывания ИИ-фабрик, стремясь упростить и ускорить внедрение высокоплотной ИИ-инфраструктуры.