Пионер ИИ Джеффри Хинтон заявил, что прорывы агентов вызывают тревогу
Ключевые выводы
- •Джеффри Хинтон назвал несанкционированный выход ИИ-агентов из сред Anthropic и OpenAI заметным сбоем существующих методов сдерживания.
- •Хинтон предупредил, что ИИ-системы демонстрируют возможности за пределами предполагаемых параметров, усиливая опасения по поводу рисков агентного ИИ по мере роста мощности моделей.
- •Двойное назначение продвинутых моделей кибербезопасности, таких как Mythos от Anthropic и GPT 5.6 Sol от OpenAI, стало центральным вопросом в текущих усилиях по регулированию ИИ в США, ЕС и Великобритании.
- •Исследователи по безопасности ИИ призывают к стандартизированному стороннему red-teaming продвинутых ИИ-агентов перед их развертыванием в реальных условиях.
- •Руководители предприятий рекомендуют рассматривать ИИ-агентов как сущности с контролем доступа и защищать данные у источника, чтобы предотвратить несанкционированный доступ.
Responsible AI
Agentic AI
Generative AI
News
Пионер ИИ Джеффри Хинтон заявил, что прорывы агентов вызывают тревогу
Эксперт по ИИ сказал, что пора начинать беспокоиться после того, как ИИ-агенты вырвались из песочниц без разрешения. Некоторые компании берут на себя инициативу, чтобы держать собственных ИИ-агентов под контролем.
August 6, 2026
LAS VEGAS -- Для Джеффри Хинтона, широко известного как «крестный отец ИИ», недавние инциденты, в которых ИИ-агенты Anthropic и OpenAI покинули свои песочницы без разрешения, вызывают серьезную обеспокоенность.
«Вы видите, что ИИ, обладающий большими возможностями, делает то, что люди не предполагали. Это вызывает тревогу», — сказал Хинтон, опытный специалист по данным и лауреат премии Тьюринга, во время панельной дискуссии в среду на конференции Ai4 2026. Хинтон также является одним из наиболее заметных голосов, предупреждающих об экзистенциальных угрозах, которые искусственный общий интеллект может представлять для человечества.
Наблюдение Хинтона о неконтролируемых агентах прозвучало на фоне растущего внимания к тому, насколько мощными стали системы ИИ. Последняя обеспокоенность возникла после того, как Anthropic представила Mythos в апреле, назвав эту модель кибербезопасности своей самой мощной на тот момент и решив, что доступ к ней должны иметь лишь немногие компании.
Related: Tokenmaxxing Is Actually Good
Кибермодели, такие как Mythos и GPT 5.6 Sol от OpenAI, обладают продвинутыми возможностями безопасности, но, оказавшись в неправильных руках, они также способны преодолевать даже самые защищенные рубежи.
«Есть многое, что вызывает беспокойство, и, думаю, если мы не начнем беспокоиться об этом сейчас, могут возникнуть проблемы», — сказал Хинтон.
«Люди говорят, что у защитника может быть больше ресурсов, чем у атакующего», — добавил он во время мероприятия для СМИ на конференции. «Проблема в том, что атакующему нужно добиться успеха всего один раз, а защитнику нужно быть успешным каждый раз».
Подход Smartsheet
Для поставщика платформы управления работой Smartsheet нарушения протоколов сдерживания со стороны ИИ-агентов вызывают беспокойство. У компании есть партнерство с Anthropic, и она использует модели этого поставщика внутри компании.
«Все эти громкие истории о том, что [что-то] идет не так, всегда ставят нас в оборонительную позицию», — сказал в интервью Маркус Маккей-Флейш, директор по обеспечению внедрения профессиональных сервисов в Smartsheet. Маккей-Флейш помогает продвигать внедрение систем ИИ в Smartsheet.
Он сказал, что компаниям не следует включать системы ИИ, не понимая заранее, какую именно ценность они хотят получить от агента или модели.
«Мы проделали большую работу с IT, чтобы помочь развернуть инфраструктуру и понять, в чем именно ценность», — продолжил Маккей-Флейш. Он сказал, что Smartsheet требует от сотрудников, желающих использовать инструменты ИИ, указывать, чего они хотят добиться с помощью систем, будь то повышение эффективности, влияние на KPI или показатели выручки и затрат.
«Это, как правило, немного успокаивает IT», — сказал он. «Понимать конкретно, что люди пытаются с этим сделать? Каков вариант использования?»
Related: AI Safety From a Hardware Perspective
Необходимость безопасности
Хотя компании должны четко понимать конкретные применения ИИ, случаи выхода агентов OpenAI и Anthropic из-под контроля, раскрытые ранее на этой неделе, также показывают, что о системах ИИ по-прежнему многое неизвестно.
«Вероятно, все еще существуют пределы того, насколько глубоко [компании] хотят внедрять эти вещи в механизм принятия решений [своих] организаций», — сказал в интервью Джед Догерти, старший вице-президент по ИИ и платформе в компании Dataiku.
Компаниям также следует защищать свои данные и предоставлять ИИ-агентам доступ только к той информации, к которой они хотят его дать, сказал Тодд Барр, генеральный директор Axonis, разработчика платформы ИИ-инфраструктуры, предназначенной для запуска ИИ напрямую на конфиденциальных данных.
«Если вы защищаете все на уровне данных, у агента никогда не будет доступа и он даже не будет знать, что это существует», — сказал Барр в интервью, добавив, что большинство моделей ИИ обучаются на общедоступных данных, а не на частных, поэтому предприятия и компании могут защитить эти данные и не допустить к ним ИИ-агентов. Он добавил, что Axonis защищает все данные, поступающие в его систему.
«Если вы относитесь к агентам как к сущностям в вашей системе контроля доступа, а затем маркируете данные так, чтобы это соответствовало вашей системе контроля доступа, тогда у вас должна быть хорошая позиция по отношению к агентам», — сказал он.
Об авторе
Esther Shittu
News Writer, AI Business
Esther Shittu освещает технологии ИИ и отраслевые тенденции с 2021 года. В качестве со-ведущей подкаста Targeting AI она беседует с экспертами, лидерами мысли и практиками, изучая ключевые события в сфере ИИ. До AI Business она писала для SearchEnterpriseAI, New York Daily News, Bklyner и Brooklyn Daily Eagle. Когда она не погружена в мир ИИ, она посвящает время личным проектам и воспитанию трех дочерей.
Хотите видеть больше материалов AI Business в результатах поиска Google?
Latest News
Want more AI Business stories in your Google search results?
Trending articles
Aug 5, 2026
Aug 5, 2026
Generative AI AI Arrives in the Private Markets Business Jul 28, 2026
AI Arrives in the Private Markets Business
Agentic AI Using AI Agents to Collaborate with Human Workers Jul 10, 2026
Using AI Agents to Collaborate with Human Workers
Generative AI How SMBs Can Take Advantage of Generative AI Jun 29, 2026
How SMBs Can Take Advantage of Generative AI
Generative AI Rebellions Aims to Take on Nvidia in AI Inference Chip Battle Jun 15, 2026
Rebellions Aims to Take on Nvidia in AI Inference Chip Battle
Sponsored by Google Cloud
Choosing Your First Generative AI Use Cases
To get started with generative AI, first focus on areas that can improve human experiences with information.
The AI Summit New York 2026
