Генеральный директор Nvidia Дженсен Хуанг неоднократно отвергал предупреждения о том, что искусственный интеллект представляет экзистенциальную угрозу человечеству, активно отстаивая позицию максимального ускорения разработки.

В интервью CBS News две недели назад Хуанг сказал: «2030 год не станет концом света. Вероятность конца мира — 0%».

Он также критиковал лидеров индустрии ИИ, включая Сэма Альтмана из OpenAI и Дарио Амодеи из Anthropic, назвав их «безответственными» за «нарративы конца света», которые они продвигают в недавних отчётах.

«Я считаю, что заявления о конце света, сеющие страх по всей Америке, причём исходящие от этих людей, не имеют для меня смысла, поэтому они должны делать это по скрытым причинам», — сказал Хуанг. «Это безответственно, и я не знаю, каковы их мотивы».

Выступая на мероприятии G20 в начале сентября, Хуанг утверждал, что правительства должны регулировать «реальный и прагматичный вред», а не «гипотетический, теоретический вред». Он сравнил развитие ИИ с эволюцией автомобилей, предположив, что технологии могут становиться безопаснее по мере развития. В июле он сообщил Axios, что идея того, что ИИ положит конец человечеству, — «полная бессмыслица», добавив, что политикам не следует позволять «научной фантастике» определять политику в области ИИ, и предупредив, что США могут навредить себе чрезмерным страхом перед этой технологией.

Трения между Хуангом и руководителями OpenAI и Anthropic сосредоточены вокруг одного из самых значимых вопросов в сфере ИИ: несёт ли быстрый прогресс катастрофические риски и что этот ответ означает для регулирования технологии.

Стоит отметить, что поддержание ИИ на полной скорости помогает Nvidia продавать больше чипов, хотя сдвиг в сторону кибербезопасности для защиты от неуправляемых ИИ-агентов также стимулировал бы спрос на них.

Резкая критика Хуанга совпадает с позицией президента Дональда Трампа, который позвонил главе компании во время его выступления чтобы сказать, что пессимизм по поводу ИИ — «мистификация». «ИИ, захватывающий мир, уничтожающий человечество и прочие ужасы, — это МИСТИФИКАЦИЯ», — написал Трамп в сентябре в посте в Truth Social.

Это не означает, что Хуанг считает меры безопасности ИИ ненужными. Он называл безопасность ИИ «первостепенной», настаивая при этом, что разработка может двигаться быстро. «Если мы жертвуем безопасностью, этого не может быть», — сказал он CBS News. «Мы должны двигаться так быстро, как можем, но не быстрее, чем следует».

В понедельник Nvidia воплотила эту позицию на практике, представив новую платформу, призванную предотвратить выход ИИ-агентов из-под контроля. Компания сообщила, что Open Agent Safety Platform создана для обеспечения «полностекового» контроля над ИИ-агентами — от тестирования до развёртывания, — с возможностями мониторинга, предназначенными для предотвращения превышения агентами предоставленных им полномочий.

Запуск состоялся на фоне растущего числа инцидентов в компаниях, занимающихся ИИ. Сообщалось о множестве случаев выхода ИИ-агентов из-под контроля — в том числе в OpenAI, Google и Anthropic. Nvidia заявила, что её новая система безопасности могла бы остановить взлом Hugging Face, осуществлённый моделями OpenAI.

«Насколько нам известно, эта новая платформа безопасности могла бы предотвратить взлом, если бы она использовалась в передовых лабораториях для ранней оценки моделей», — сказал Джастин Бойтано, вице-президент и генеральный менеджер направления корпоративных вычислений Nvidia, в ходе брифинга для СМИ.

Как это работает

Сталкиваясь с потоком сообщений о неуправляемых ИИ-агентах, Nvidia решает эту проблему с помощью Open Agent Safety Platform, объединяющей две технологии: OpenShell и «Sentry».

По данным Nvidia, OpenShell помещает ИИ-агентов в изолированные среды, ограничивающие доступ к файлам, инструментам, сетям, учётным данным и другим ресурсам — по сути, стандартизируя ограничения, из которых ранее происходили «побеги» агентов.

Sentry — это внешний уровень, работающий на устройствах обработки данных Nvidia и непрерывно отслеживающий активность агентов. Компания заявляет, что если агент попытается выйти за пределы своей программной среды, Sentry может изолировать и остановить его за миллисекунды.

«Исключительный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ», — сказал Хуанг в пресс-релизе. «Продолжая открывать рубежи возможностей ИИ, мы должны ускорять открытия на рубеже безопасности ИИ. Безопасность и защищённость требуют полностековой инженерии».

Примут ли передовые лаборатории платформу именно для той оценки моделей, которую описал Бойтано, станет ранним испытанием инженерного подхода Nvidia к безопасности — и проверкой того, устоит ли формула Хуанга «так быстро, как можем, но не быстрее, чем следует».

Эта история изначально была опубликована на Fortune.com.