Anthropic лишилась еще одного исследователя по безопасности на фоне растущей внутри индустрии искусственного интеллекта обеспокоенности скоростью разработки передовых моделей и рисками, связанными с повышением возможностей таких систем.

Джо Тентон сообщил, что ушел из Anthropic две недели назад и присоединится к METR — независимой группе, тестирующей риски передовых систем ИИ. Тентон планировал объяснить свое решение позднее, но заявил, что уход Джейкоба на этой неделе побудил его высказаться раньше.

“I’d planned to write about that decision in more detail at some point, but Jacob’s resignation this week made me want to say more now,” Tenton wrote.

В публикации, объясняющей его переход, Тентон заявил, что крупные лаборатории ИИ создают уровень опасности, с которым общество еще никогда не сталкивалось. По его словам, возможности ИИ развиваются чрезвычайно быстрыми темпами, а компании пытаются еще сильнее ускорить этот процесс.

Заявленная цель многих лабораторий — создать системы, способные самостоятельно совершенствовать исследования в области ИИ и в конечном итоге достичь «сверхинтеллекта». Тентон предупредил, что в случае успеха этих усилий технологический прогресс может выйти из-под контроля людей.

Тентон предупреждает, что лаборатории ИИ создают системы, которые люди могут не суметь сдержать

Тентон заявил, что уже в ближайшие несколько лет люди могут начать жить бок о бок с ИИ-агентами, превосходящими по возможностям каждого человека. Он также предупредил, что такие системы могут выработать цели, отличающиеся от целей людей, которые за ними наблюдают. Если их возможности станут слишком велики, чтобы их можно было ограничить, последствия, по его словам, могут оказаться катастрофическими.

“Humanity may not survive this transition,” Tenton wrote.

Он отметил, что конкуренция между передовыми лабораториями усугубляет проблему. Любая лаборатория, замедляющая разработку, рискует отстать от другой, что создает давление и побуждает компании тратить на безопасность меньше, чем необходимо.

Тентон указал на несколько недавних инцидентов. По его словам, несколько сотен агентов OpenAI оказались затронуты взломом, который каким-то образом был связан с Hugging Face. Кроме того, сообщалось, что модели Anthropic занимались социальной инженерией в отношении людей в интернете.

По словам Тентона, Anthropic не сталкивалась с инцидентом, столь же серьезным, как связанный с Hugging Face, хотя отчасти он объясняет это удачей. Если развитие ИИ продолжится нынешними быстрыми темпами, заявил он, следует ожидать новых, более опасных инцидентов.

Тентон предсказал, что в ближайшие несколько лет человечество может оказаться неспособным управлять системами ИИ, созданными в этот период.

Он также описал дилемму, с которой сталкиваются инженеры по безопасности в передовых компаниях. Уход в отставку может привести к тому, что их место займут более беспечные специалисты, а продолжение работы может означать дальнейшее участие в создании системы, способной причинить огромный ущерб.

Тентон заявил, что многие его бывшие коллеги из Anthropic напуганы тем, что они создают. Он назвал Эвана Хубингера, который был его руководителем, и сообщил, что Хубингер оценивал вероятность того, что ИИ убьет всех людей, выше 10%. Тентон добавил, что Хубингер занимается этими вопросами почти десять лет — еще до того, как большие языковые модели стали крупным бизнесом.

Руководители Anthropic, OpenAI и Google DeepMind, принадлежащей Alphabet (NASDAQ: GOOGL, GOOG), также поддержали заявление, в котором риск вымирания человечества из-за ИИ назван глобальным приоритетом. Тентон заявил, что внутри самих компаний эти опасения широко распространены. Он добавил, что люди сами выбирают создавать эту технологию и могут выбрать другой путь.

Тентон призывает к независимым проверкам ИИ, пока Трамп делает акцент на конкуренции с Китаем

Тентон заявил, что законодателям следует рассмотреть возможность управления темпами развития возможностей ИИ, а не позволять компаниям бесконтрольно ускорять этот процесс.

“One question is whether we should actively manage the rate of capabilities progress, and if so, by how much. I think even holding AI progress at today’s pace, rather than the much faster pace the companies are aiming for, could be a win,” he said.

Он назвал политическую поддержку и правовую защиту основными препятствиями. По словам Тентона, компании, которые совместно договорятся замедлить разработку, могут столкнуться с антимонопольными претензиями. Поэтому законодателям необходимо обеспечить правовую защиту, если они хотят, чтобы конкурирующие лаборатории самостоятельно ограничивали темпы работы.

Он также выразил сомнение, что правительства будут действовать, пока разработка передовых систем остается в значительной степени скрытой от общественности. Лаборатория может столкнуться с внезапным скачком интеллекта или потерять контроль над системой, а внешние наблюдатели об этом не узнают, предупредил он.

Тентон сообщил, что на новой должности в METR сосредоточится на независимом тестировании. Он хочет, чтобы внешние проверки стали достаточно распространенными и начали влиять на стимулы компаний. Кроме того, он призвал ужесточить требования к раскрытию информации, включая данные о достижениях в области возможностей ИИ, шагах к рекурсивному самосовершенствованию, авариях и опасных инцидентах, которых удалось избежать.

Президент США Дональд Трамп отверг предупреждения об угрозе вымирания человечества из-за ИИ. На вопрос о том, беспокоит ли его возможность уничтожения человечества искусственным интеллектом, Трамп ответил: “No, I don’t have any.”

Трамп заявил, что его беспокоит победа в международной гонке ИИ.

“I have concerns that if we don’t win AI, we’re going to be put in a very bad position,” he told reporters Thursday. “We are leading China right now by a pretty good period, I would say a year, which is, you know, considered a lot.”

США и Китай конкурируют за лидерство в сфере ИИ, поскольку китайские модели становятся более мощными и привлекают пользователей по всему миру. Трамп сделал эти заявления после того, как исследователи из передовых лабораторий, включая Anthropic и OpenAI, усилили публичные предупреждения о темпах развития ИИ.

Объяснение Тентоном причин своего ухода доступно в статье Why I left Anthropic’s safety team.