Перспектива того, что модели искусственного интеллекта будут самостоятельно учиться становиться более эффективными и способными — некогда далёкая мечта исследователей — всё ближе к реальности.

По мере развития технологии, говорят разработчики, она приближается к «рекурсивному самоулучшению», или RSI, — этапу, на котором ИИ-модели находят способы улучшать себя и создавать своих преемников. Руководители технологических компаний заявляют, что этот сдвиг может принести успехи в науке и медицине, но он также несёт риски.

Неопределённость относительно того, куда всё это может привести, лежит в основе растущих страхов, связанных с выходом ИИ из-под контроля человека и возможными угрозами человечеству. Эти опасения побудили нескольких фигур ИИ-индустрии в минувшие выходные присоединиться к призыву замедлить темпы развития технологии.

На этой неделе Anthropic подробно рассказала о том, как её модель Claude помогает компании разрабатывать следующую, более интеллектуальную версию самой себя. Claude теперь руководит 26% исследований и разработок моделей Anthropic, что, по словам компании, означает, что она может выполнять большую часть поставленной задачи «от начала до конца по высокоуровневому запросу», оставаясь при этом под контролем человека. Модели пока не работают полностью автономно — по крайней мере, пока.

Разные определения RSI

Ведущие ИИ-компании по-разному определяют рекурсивное самоулучшение. Одни определяют его как любую обратную связь от ИИ при улучшении моделей, другие — как полностью автономную работу ИИ над этой целью. Это различие важно: поскольку нет общего порога того, что считается RSI, заявления разных лабораторий о прогрессе измеряют не одно и то же.

Автономное рекурсивное самоулучшение, по сути, означает ИИ, способный улучшать себя, разрабатывая следующую версию системы, затем следующую и так далее, рассказал Энтони Агирре, президент и генеральный директор некоммерческой организации Future of Life Institute и профессор физики Калифорнийского университета в Санта-Крус.

«Действительно важный момент здесь в том, что чем больше этим занимается ИИ, тем быстрее это происходит, потому что ИИ работает гораздо, гораздо быстрее людей», — сказал он.

Эксперты сопоставляют риск неконтролируемости с постепенной реальностью

Страх вокруг RSI основан образом на возможности появления неконтролируемого сверхинтеллекта в результате этого процесса — сценария, при котором самоулучшающиеся системы развиваются дальше способности людей контролировать их, — отметил Джон Тикстун, доцент кафедры компьютерных наук Корнеллского университета, изучающий методы управления поведением ИИ-моделей. Однако, по его словам, более взвешенный взгляд указывает на то, что та или иная форма рекурсивного самоулучшения в разработке ИИ идёт уже некоторое время.

«Мы уже годами используем эти модели во вспомогательных ролях для создания следующей версии этих моделей. То есть люди используют предыдущее поколение моделей, чтобы писать код для ИИ-систем, которые затем создают следующее поколение», — сказал он.

Известные ИИ-исследователи — в том числе сооснователь OpenAI Андрей Карпаты — годами экспериментировали с обучением и улучшением новых ИИ-систем с помощью самих ИИ-моделей. Эти усилия принесли небольшие улучшения, но не крупные творческие прорывы, отметил Тикстун.

Однако Агирре заявил, что сегодняшние ИИ-компании гораздо ближе к достижению таких более значительных скачков в улучшении.

«Вы можете видеть на этих графиках Anthropic: с течением времени всё больше исследований выполняет ИИ, и он становится всё ближе к полной автономности», — сказал он. «И результат этого успеха — в конечном счёте нечто, что я считаю крайне пугающим. Я думаю, что это, вероятно, худшая идея в истории человечества. И да, они это делают».

Заявление Anthropic дало общественности — и другим лабораториям — некоторое представление о прогрессе в области RSI, и компания призвала конкурентов делиться аналогичными показателями. Опубликованные конкурентами в ответ цифры могли бы дать отрасли общую базу для сравнения прогресса в сторону автономных исследований. Тем не менее Anthropic прямо не сообщила, насколько она близка к достижению полностью автономного улучшения моделей.

«Стажёр-исследователь» OpenAI и цель к 2028 году

OpenAI, создатель ChatGPT, объявила в этом месяце о разработке автоматизированного «стажёра-исследователя» — системы, способной выполнять чётко определённые исследовательские задачи под руководством человека, в том числе «задачи, которые заняли бы у квалифицированного исследователя несколько дней». Компания заявила, что движется к цели создать автоматизированного ИИ-«исследователя» к марту 2028 года. Эта дата даёт наблюдателям конкретный, заявленный компанией ориентир для оценки прогресса.

В том же заявлении OpenAI отметила, что, хотя RSI может помочь согласовать действия моделей с человеческими ценностями и намерениями, это не означает, что «быстрое RSI — это обязательно результат, к которому нам следует стремиться».

«Стоит ли двигаться дальше и как — должно зависеть от нашей способности сохранять человеческий контроль и от осознанного демократического выбора в отношении выгод и рисков», — говорится в блоге компании.

Маск сигнализирует о более сжатых сроках в xAI

Илон Маск, судя по всему, стремится двигаться вперёд быстрее. В марте, говоря о моделях Grok компании xAI, он отметил, что «люди постепенно всё меньше участвуют в процессе» улучшения моделей и что «каждая последующая модель создаётся предыдущей», уточнив при этом, что процесс ещё не полностью автоматизирован. Этот рубеж может быть достигнут до конца этого года, добавил он, «но не позднее» 2027 года — срок, опережающий цель OpenAI на март 2028 года, хотя две компании описывают этот ориентир по-разному.

«Гуманистическая» альтернатива Microsoft

Microsoft и некоторые другие ведущие ИИ-компании, похоже, выбирают иной подход. Мустафа Сулейман, генеральный директор Microsoft AI, заявил, что компания движ к «гуманистическому сверхинтеллекту» — передовым возможностям ИИ, поставленным на службу людям и человечеству в целом. В эссе 2025 года Сулейман пояснил, что это не означает «неограниченную и безграничную сущность с высокой степенью автономии», а скорее ИИ, который «тщательно откалиброван, контекстуализирован, ограничен рамками».

Меры безопасности не поспевают за развитием

Ключевая задача, стоящая перед лабораториями — и стоящая перед ними фактически с момента зарождения технологии, — заключается в том, чтобы меры безопасности развивались вместе с возможностями моделей.

В технологической индустрии возникли разногласия вокруг призывов к скоординированному замедлению развития ИИ ради безопасности, и не каждый крупный участник ИИ-пространства конкретно прокомментировал свой путь в отношении RSI.

Anthropic, которая была одним из главных голосов в призывах к регулированию темпов, заявила, что замедлит или временно приостановит свою разработку — при условии, что её глобальные конкуренты сделают то же самое, причём «проверяемым образом».

OpenAI прямо заявила в этом месяце, что пока не знает, как «безопасно дойти до полностью согласованного RSI», добавив, что компания «не может считать, что прогресс в согласовании и безопасности будет идти в ногу со временем». Более способные системы могут стать труднее для контроля, продолжила она, но pursue RSI остаётся целью, которую компания ценит, поскольку «автоматизированный ИИ-исследователь может быть также автоматизированным исследователем в области безопасности или согласования».

Эта история первоначально была опубликована на Fortune.com.