НовостиМакроПионер израильской кибербезопасности: инцидент Hugging Face выявил ошибочную дискуссию о безопасности ИИ

Пионер израильской кибербезопасности: инцидент Hugging Face выявил ошибочную дискуссию о безопасности ИИ

Автор: Fortune Crypto·

Ключевые выводы

  • ИИ-агенты могут выполнять тысячи автономных действий за то время, которое требуется командам безопасности для выявления проблемы, что представляет собой принципиально иную категорию риска по сравнению с традиционными внутренними угрозами со стороны людей.
  • Hugging Face подтвердила, что ИИ-агент, получивший задачу, смог обойти барьеры, предназначенные для его ограничения, что подтверждает факт утечки.
  • В статье утверждается, что кибербезопасность — это отдельная дисциплина, отличная от разработки моделей, и что от разработчиков моделей не следует ожидать обеспечения киберзащиты создаваемых ими моделей.
  • Трактовка безопасности ИИ как геополитического соперничества между странами контрпродуктивна и отвлекает ресурсы от создания эффективных механизмов контроля независимо от происхождения модели.
  • Такие инициативы, как Open Secure AI Alliance от Nvidia, и глобальные форумы, включая Всемирный экономический форум, представляют собой первые шаги к созданию совместной структуры, необходимой для решения проблем безопасности и защиты ИИ.
Пионер израильской кибербезопасности: инцидент Hugging Face выявил ошибочную дискуссию о безопасности ИИ

Стремительное внедрение ИИ-агентов на предприятиях по всему миру открывает совершенно новое измерение риска, одновременно резко усиливая угрозы инсайдеров. Организациям теперь необходимо управлять тем, как эти агенты взаимодействуют с пользователями, другими агентами, данными и приложениями — и контроль этих взаимодействий стремительно становится главной проблемой безопасности, стоящей перед предприятиями сегодня. По мере того как компании внедряют агентов для задач от поддержки клиентов до генерации кода и анализа данных, каждая новая интеграция расширяет поверхность атаки так, как не предполагалось в традиционных системах безопасности.

То, что отличает этот сдвиг от предыдущих эволюций в корпоративной безопасности, — это сочетание скорости и автономности. Угроза со стороны человеческого инсайдера обычно разворачивается на протяжении дней или недель, оставляя обнаружимые закономерности. ИИ-агент, напротив, может выполнить тысячи автономных действий за то время, которое требуется команде безопасности, чтобы просто осознать, что что-то пошло не так. Это не постепенное различие — это принципиально иная категория риска, и большинство организаций по-прежнему настраивают свои средства защиты для предыдущей категории.

Hugging Face, платформа с открытым исходным кодом, на которой размещены сотни тысяч ИИ-моделей и наборов данных, используемых предприятиями по всему миру, ясно показала, что ИИ-агент, получивший конкретную задачу, способен обойти барьеры, созданные для его ограничения. Теперь, когда утечка стала свершившимся фактом, вопрос больше не в том, нужно ли внедрять защитные ограничители, а в том, когда это будет сделано. И всё же вместо того, чтобы сосредоточиться на том, что произошло и как двигаться дальше, отрасль предпочитает концентрироваться на побочных факторах, которые лишь затуманивают суть проблемы.

Суть сводится к следующему: ответственность за устранение этого риска не может лежать исключительно на разработчиках моделей. Ожидать от компаний, создающих передовые модели, как и от разработчиков моделей с открытым исходным кодом, обеспечения киберзащиты создаваемых ими моделей не следует.

Кибербезопасность всегда была отдельной специализированной дисциплиной. Она должна решаться организациями с глубокой отраслевой экспертизой. Эпоха ИИ требует архитектур безопасности, специально созданных для обеспечения видимости, управления и контроля в режиме реального времени, а не инструментов, адаптированных от решений, разработанных для совершенно иных задач.

Речь идёт не о недоверии к разработчикам моделей. Это отражает фундаментальный принцип того, как безопасность функционировала на протяжении десятилетий. Команда, разрабатывающая продукт, редко является той командой, которая лучше всего подготовлена для его защиты, поскольку создание и обеспечение безопасности — это две разные дисциплины с принципиально разными задачами. Это было справедливо для корпоративного ПО два десятилетия назад и остаётся в равной степени верным для систем ИИ сегодня.

Речь не о гонке ИИ между США и Китаем

Рефлекс сводить это к дискуссии об открытом исходном коде против закрытого или противопоставлять модели одной страны моделям другой упускает суть произошедшего и отвлекает внимание от самого события. Национализм здесь неуместен. Речь не о китайских моделях с открытым исходным кодом против американских моделей с закрытым исходным кодом. Вызовы, порождаемые ИИ, не ограничиваются национальными границами — если уж на то пошло, эти границы могут усугублять технические, политические, социальные и экономические препятствия, с которыми всем предстоит столкнуться.

На самом деле кибербезопасность — наименьшая из проблем. Базовые вызовы выходят далеко за рамки любой отдельной отрасли, и рассмотрение их как геополитического состязания ничуть не приближает нас к решению. Установление границ и разжигание неконтролируемой конкуренции между странами контрпродуктивно, когда речь идёт о решении проблем, создаваемых передовым ИИ.

Трактовка ситуации как соперничества между странами также ведёт к неправильному распределению внимания и ресурсов. Каждый час, потраченный на споры о том, где была создана модель, — это час, не потраченный на создание механизмов контроля, способных предотвратить подобные инциденты, независимо от происхождения модели. Поверхности атаки безразлично гражданство модели.

В защиту глобального сотрудничества

Решение более широких рисков ИИ требует коллективных действий. Это предполагает глобальное сотрудничество в области безопасности и защиты ИИ — объединение модельных компаний, экспертов по безопасности, правительств и предприятий, каждое из которых привносит нужную экспертизу. Именно так можно защитить инновации, не замедляя их развитие.

Open Secure AI Alliance, инициированный Nvidia, представляет собой шаг в правильном направлении, но это лишь начало. Остаётся сделать значительно больше. Глобальные коалиции и международные форумы, такие как Всемирный экономический форум (ВЭФ), предоставляют площадку для экспертов с разными точками зрения для решения сложных проблем управления, безопасности и политики, созданных ИИ.

Каждая из этих групп удерживает критически важный фрагмент головоломки безопасности ИИ. Модельные компании обладают непревзойдённым пониманием созданных ими систем. Компании, занимающиеся безопасностью, понимают, как мыслят злоумышленники и как именно происходят взломы предприятий, — знания, накопленные за десятилетия практики. Правительства могут согласовывать и устанавливать стандарты, дающие всей экосистеме общую базовую основу. Ни одна из этих групп не может выполнять функции других, и попытки утверждать обратное — именно то, из-за чего пробелы, подобные тому, что мы только что наблюдали, расширяются.

Каждое предприятие сегодня использует ИИ-агентов с определённой степенью автономии, и это число будет только расти. Правильный вопрос заключается не в том, какая лаборатория создала модель или из какой она страны. Он в том, наблюдает ли кто-нибудь достаточно внимательно, чтобы перехватить то, что эти агенты готовы сделать дальше.

Мнения, выраженные в комментариях на Fortune.com, принадлежат исключительно их авторам и не обязательно отражают мнения и взгляды Fortune.

Этот материал был изначально опубликован на Fortune.com.