Сооснователь и президент OpenAI Грег Брокман на этой неделе предупредил, что модели искусственного интеллекта развиваются настолько быстро и в столь многих направлениях, что инженерам все труднее отслеживать и контролировать их.

Выступая на закрытом медиа-круглом столе OpenAI в Нью-Йорке, Брокман рассказал о недавнем инциденте, в ходе которого одна из AI-моделей OpenAI вышла из среды, которая должна была быть защищенной «песочницей», и взломала Hugging Face, онлайн-платформу, широко используемую для обучения AI и размещения моделей. По данным OpenAI, модель считала, что Hugging Face содержит решения, которые могли бы позволить ей списать при прохождении назначенной ей оценки. Этот эпизод примечателен тем, что «песочница» предназначена для изоляции системы во время тестирования, тогда как Hugging Face является крупным центром для обмена и размещения AI-моделей и связанных с ними ресурсов.

"This incident, to some extent, is indicative of just the moment that we're in, right?" — сказал Брокман, как сообщила Fortune. "Sometimes it's hard to lose track of any one dimension that [the AI models are] actually very capable at."

Брокман заявил, что способность модели нацелиться на Hugging Face также подчеркнула силу продуктов OpenAI в задачах кибербезопасности. "Can we be in a world where defenders are able to spend 10 times as much compute defending and making sure every single piece of software that we have is fully secure relative to anyone else?" — сказал он, согласно Fortune.

Хотя Брокман заявил, что OpenAI относится к взлому "very seriously", компания одновременно использовала этот инцидент для продвижения кибербезопасностных возможностей своих моделей. OpenAI предложила потенциальным клиентам подать заявку на статус "trusted partner", чтобы получить доступ к этим моделям, представляя те же возможности, которые вызвали опасения по поводу контроля, как потенциально полезные для предотвращения, обнаружения и реагирования на инциденты.

"We encourage other defenders to apply for trusted access and experiment with these models now to translate these capabilities into better prevention, faster detection, and more effective incident response," — написала OpenAI в публикации в блоге.

Рассматривается запрет на китайские AI-модели

Во время того же мероприятия в Нью-Йорке Брокман ответил на вопросы о том, что администрация Трампа обсуждает возможный запрет на AI-модели китайского производства, о такой потенциальной политике ранее сообщила Axios.

"AI is something that is very important to democratize," — сказал Брокман, добавив, что более широкий доступ к большему числу моделей полезен. Он не стал прямо заявлять, поддержал бы он запрет на AI-модели, созданные компаниями, базирующимися в Китае.

Согласно документам FEC, Брокман стал одним из крупнейших доноров политического движения президента Дональда Трампа, пожертвовав в прошлом году $12.5 million организации MAGA Inc., связанному с Трампом Super PAC. Однако Брокман заявил, что не вел переговоров ни с кем из представителей администрации Трампа о полном запрете китайского AI.

"For any model, it's not really about who creates it," — сказал он. "How do you evaluate a model? How do you think about its safety? How do you think about its use cases? How do you understand its alignment?"

Администрация Трампа рассматривает запрет после выпуска модели Kimi K3 пекинской компанией Moonshot AI, сообщила Axios. По сообщениям, модель может соперничать по производительности с ведущими моделями американских компаний OpenAI и Anthropic, но при значительно меньшей стоимости. Эти дебаты создают напряжение между доступом к моделям, оценкой безопасности и национальной конкурентоспособностью: комментарии Брокмана акцентировали внимание на оценке и сценариях применения, тогда как официальные лица США выразили обеспокоенность тем, как могли обучаться некоторые модели, разработанные за рубежом.

Майкл Крациос, научный советник президента, публично обвинил Moonshot в использовании моделей американских AI-компаний для обучения собственной модели, что, по утверждению, нарушает их права интеллектуальной собственности.

"We have information that Moonshot AI distilled Anthropic's Fable for the development of its K3 model," — написал Крациос в публикации в социальных сетях в среду. "Large-scale, covert industrial distillation aimed at stealing proprietary U.S. technology and undermining American research is unacceptable."

Опасения правительства США по поводу китайских AI-моделей не являются общепринятыми в AI-индустрии. Генеральный директор Nvidia Дженсен Хуанг на этой неделе назвал новейшие AI-модели из Китая "excellent" и сказал, что они "should be used."