Пока некоторые из самых видных деятелей в области искусственного интеллекта призывают к более медленному и обдуманному подходу к разработке frontier-моделей, для моделей с открытыми весами на первый план выходит другой вопрос управления: кто отвечает за их безопасность после того, как разработчики выпускают веса (обученные параметры, определяющие то, как модель формирует свои результаты)?

В эссе от 12 сентября, положившем начало последней дискуссии о замедлении ИИ, генеральный директор Anthropic Дарио Амодеи утверждал, что разработка ИИ должна замедлиться, чтобы работа по безопасности успевала за возможностями моделей. Генеральный директор OpenAI Сэм Альтман и другие лидеры и исследователи в области ИИ также выступали за более размеренный темп.

Пока что эта дискуссия была сосредоточена в основном на разработчиках frontier-моделей и их способности контролировать использование своих моделей. Однако некоторые предприятия уже экспериментируют и строят решения на основе моделей с открытыми весами — скачивают, настраивают и запускают их на собственной инфраструктуре.

Например, Databricks предлагает на своей платформе такие модели, как Kimi K3, Qwen и DeepSeek. Более широкая экосистема включает также Llama от Meta и модели Mistral, среди многих других. Она выходит далеко за пределы этих известных названий: открытая платформа Hugging Face сообщила в августе о почти 3 миллионах публичных моделей в своих репозиториях — моделей разных размеров и назначений.

Хотя эти модели дают предприятиям больше контроля над развертыванием, первоначальные разработчики, как правило, теряют прямой технический контроль над тем, как выпущенные веса изменяются, развертываются и используются, хотя лицензионные условия и юридические ограничения все еще могут ограничивать их использование и распространение.

Дискуссия о замедлении обнажает пределы централизованной безопасности

При закрытой, или проприетарной, модели ИИ разработчик обычно управляет доступом к системе. Он может вводить ограничения на использование, отслеживать активность и при необходимости изменять или отзывать доступ.

Модели с открытыми весами меняют эту динамику. После публичного выпуска весов организации могут скачивать и запускать их в собственных средах. Они могут изменять илиобучать модели — адаптируя предобученную модель к конкретным задачам с помощью дополнительных данных — и при необходимости развертывать их через различных поставщиков инфраструктуры.

Такая гибкость может делать ИИ с открытыми весами привлекательным для предприятий, но она же затрудняет применение традиционных подходов к надзору за ИИ. Когда веса становятся публично доступными, первоначальный разработчик имеет гораздо меньше возможностей контролировать то, как организации изменяют и развертывают модель. Поставщики open-source также не могут реально отозвать веса после их выпуска.

"Предлагаемые решения — встроенные аудиторы и непрерывный мониторинг — работают только до тех пор, пока поставщик продолжает контролировать модель", — сказал Мануэль Шонфельд, chief AI officer компании Qu, базирующейся в Арлингтоне, штат Вирджиния, и создающей платформы unified commerce и умных кухонь для индустрии ресторанов. "Когда веса покидают здание, эта задача переходит к предприятию, которое их развертывает, а не к тому, которое их обучает".

Это не означает, что модели с открытыми весами должны быть освобождены от требований безопасности, поскольку они могут нести собственные риски безопасности и злоупотребления. Недавнее исследование, заказанное правительством Великобритании, показало, что хотя традиционное open-source ПО имеет более устоявшиеся практики безопасности, open-source ИИ привносит дополнительные риски, связанные с весами моделей, обучающими данными, конвейерами дообучения и происхождением. Обзор также показал, что исследования безопасности и управления open-source ИИ остаются ограниченными.

Более строгие правила надзора могут повысить затраты на ИИ с открытыми весами

Один из способов решить эту проблему безопасности — возложить больше ответственности на разработчиков. Но если дискуссия о замедлении приведет к более строгим требованиям соответствия и оценки, крупным ИИ-компаниям может оказаться легче их выполнять, чем небольшим разработчикам моделей с открытыми весами.

Крупнейшие лаборатории обладают ресурсами для тестирования, оценок и соответствия, тогда как небольшие разработчики могут испытывать трудности с выполнением более строгих требований.

Ноа Кенни, основатель и главный консультант Digital 520, компании IT-услуг, специализирующейся на стратегии и росте для технологических фирм, сказал, что требования соответствия могут стать барьером, если предприятия будут требовать от небольших поставщиков тех же аудитов и доказательств, что и от крупных вендоров. "Если затраты на соответствие благоприятствуют крупным поставщикам, у предприятий может оказаться меньше альтернатив крупнейшим ИИ-компаниям", — добавил он.

Предложение Амодеи о сторонних оценках безопасности, изложенное в его эссе, также иллюстрирует эту проблему. Его план предполагает предоставление независимым оценщикам постоянного, схожего с доступом сотрудников доступа к лабораториям frontier-ИИ. Такой подход становится труднее применять к моделям с открытыми весами после выпуска весов, когда организации могут изменять и распространять их без участия первоначального разработчика.

Независимые оценки все еще могут помогать повышать безопасность ИИ, но модели с открытыми весами затрудняют определение того, кто должен контролировать модель после ее выпуска разработчиком.

Предприятия могут унаследовать больше ответственности

Если дискуссия о замедлении приведет к большему акценту на тестировании, мониторинге и подотчетности, предприятиям, развертывающим модели с открытыми весами, возможно, придется взять на себя больше этой нагрузки по управлению.

Принц Кохли, президент и генеральный директор Sauce Labs, разработчика облачной платформы тестирования ПО, работавшего с поставщиками моделей с открытыми весами, сказал, что такие модели дают предприятиям больше контроля над тем, где запускаются модели, как они настраиваются и как управляются данные. Но этот контроль влечет операционные и управленческие обязанности.

"Предприятиям нужно будет учитывать риски каждого сценария использования при выборе модели для развертывания", — сказал Кохли. Модель с открытыми весами, по его словам, может хорошо подходить для простой низкорисковой задачи, тогда как сложные или критически важные для бизнеса рабочие процессы требуют более высоких стандартов безопасности и предсказуемости.

Когда предприятие само изменяет и эксплуатирует модель, сказал Кохли, ему необходимо понимать происхождение модели, контролировать, к каким данным она имеет доступ, и постоянно оценивать ее результаты, особенно когда она генерирует код или питает агентов, способных совершать или влиять на действия.

Кенни сказал, что ответственность, вероятно, должна следовать за тем, что каждая сторона вносит и контролирует: первоначальный разработчик должен отвечать за выпущенную модель и ее известные ограничения, а предприятие — за свое дообучение, данные, инструменты, разрешения и решения по развертыванию.

Это означает, что предприятиям может потребоваться валидировать модель, защищать среду, в которой она работает, отслеживать поведение в производстве и вести аудиторские записи.

Для предприятий, особенно развертывающих модели с открытыми весами, безопасность и управление не заканчиваются выбором модели — они продолжаются на этапах развертывания и использования. Задача состоит не просто в определении того, как быстро должен развиваться ИИ. Она также заключается в том, как должна работать подотчетность, когда компания, создавшая модель с открытыми весами, теряет прямой технический контроль над использованием выпущенных весов. Как будет разрешена дискуссия о замедлении — в том числе будут ли новые требования к оценкам и соответствию учитывать уже публичные веса — остается открытым вопросом как для разработчиков, так и для предприятий.

Источник: AI Business — Calls for AI slowdown raise new challenges for open-weight models