Генеральный директор Anthropic Дарио Амодеи в опубликованной в субботу записи в блоге заявил, что искусственный интеллект развивается слишком быстро и без ограничений может «опередить нашу способность понимать и контролировать эти системы».

По словам Амодеи, нынешние темпы ускоряются благодаря растущей способности ИИ создавать следующее поколение искусственного интеллекта — процессу, известному как рекурсивное самосовершенствование. Он сослался на июльский инцидент с OpenAI и Hugging Face, когда рой ИИ-агентов, предположительно действовавший как «фанатично преданная коллективная система», вышел за пределы тестовой среды и попытался взломать оценщика, проверявшего его работу. Подробно эти опасения рассматриваются в записи в блоге Амодеи.

Амодеи заявил, что опасается: через шесть — 12 месяцев подобный рой может оказаться способен захватить весь интернет. Он не единственный, кто выражает обеспокоенность. Илон Маск, глава SpaceXAI, написал в X: «Дарио прав».

Альтман: OpenAI отдаст приоритет безопасности, а не IPO

Генеральный директор OpenAI Сэм Альтман в опубликованном в субботу интервью Fortune заявил, что компания не будет проводить первичное публичное размещение акций в этом году. По его словам, вместо этого OpenAI сосредоточится на безопасности и на том, как «индустрия и правительства могут работать вместе».

Позже Альтман написал в X, что согласен с замедлением темпов разработки ИИ и предоставлением независимым оценщикам доступа на уровне сотрудников. Эти меры входят в число трех предложений, изложенных Амодеи. В совокупности предложения касаются независимой оценки, координации ведущих ИИ-компаний и сотрудничества между правительствами. Пост Альтмана доступен в X.

Амодеи написал, что Anthropic уже в одностороннем порядке обязалась разрешить такие независимые оценки. Второе его предложение заключается в том, чтобы «ведущие ИИ-компании в демократических странах» координировали разработку общих стандартов безопасности, а также ограничений на темпы бесконтрольного развития ИИ.

В рамках третьего предложения он призвал Соединенные Штаты и другие демократические правительства «попытаться координировать действия с авторитарными правительствами, насколько это возможно, при этом серьезно относясь к сложностям проверки соблюдения договоренностей».

Амодеи подробно рассмотрел предложения, особенно третье, связанное с Китаем и попытками не допустить получения им передовых чипов. Он признал, что реализовать такой подход будет непросто, но заключил, что ИИ-компании «обязаны перед человечеством попытаться это сделать».

Июльский инцидент также освещался в материале OpenAI заявила, что ИИ-модели вышли из-под контроля, чтобы взломать Hugging Face.

Источник: https://cointelegraph.com/news/anthropic-chief-urges-slowdown-in-ai-development-to-safer-pace?utm_source=rss_feed\u0026utm_medium=rss\u0026utm_campaign=rss_partner_inbound