Исследовательский консорциум из Китая представил пятиуровневый путь к настоящему рекурсивному самоулучшению ИИ
Ключевые выводы
- •Авторы работы утверждают, что простое добавление обучающих данных, созданных людьми, не сможет бесконечно повышать возможности больших языковых моделей, поскольку полезная информация постепенно исчерпывается.
- •Пятиуровневая система достигает уровня, на котором системы способны изменять собственные механизмы улучшения, методы поиска или оценщики посредством рекурсивного метаулучшения.
- •По мнению авторов, современные ИИ-системы автоматизируют лишь отдельные этапы улучшения и пока не демонстрируют полного устойчивого цикла межпоколенческого самоулучшения.
- •Программная инженерия названа наиболее перспективной областью для продвинутого самоулучшения благодаря сравнительно сильной обратной связи в виде объективного тестирования кода.
- •К условиям безопасного RSI авторы относят защиту от взлома системы вознаграждений, наследование с возможностью отката, измерение автономности и оценку на протяжении нескольких поколений улучшений.
Исследовательский консорциум, в который входят Шанхайский университет Цзяотун, Университет Цинхуа, ByteDance, ModelBest, Xiaohongshu, Shanghai AI Lab и связанные с ними лаборатории, опубликовал 75-страничную работу под названием «The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement». Формулировки работы вызвали дискуссию в сообществе специалистов по искусственному интеллекту.
Авторы утверждают, что трёхлетняя ориентация отрасли на законы масштабирования — создание всё более крупных моделей с использованием большей вычислительной мощности и текстов, созданных людьми, — приближается к структурному пределу. Предложенный ими Headroom-Closed Index (HCI) представлен как математическое свидетельство того, что современные большие языковые модели не могут бесконечно наращивать свои возможности, просто пассивно поглощая дополнительные материалы, созданные людьми. В работе говорится, что полезный сигнал, содержащийся в таких данных, конечен и постепенно исчерпывается.
Исследование появляется в период, когда термин «самоулучшающийся ИИ» остаётся предметом споров. ИИ-агенты уже используются в разработке программного обеспечения, модели генерируют синтетические обучающие данные, а автоматизированные циклы оптимизации применяются на практике. Однако, как отмечают комментаторы публикации, большинство таких систем по-прежнему опирается на цели, заданные людьми, разработанные людьми сигналы обучения и стратегии обновления, определённые людьми.
Авторы утверждают, что эти возможности не являются настоящим рекурсивным самоулучшением, или RSI. Они определяют RSI как автономный замкнутый процесс, в рамках которого система ИИ преобразует опыт и обратную связь в устойчивые изменения, улучшающие как её возможности, так и способность совершенствоваться в последующих циклах. Согласно этому определению, название работы подразумевает, что последним поколением ИИ, полностью созданным людьми, может стать поколение, которое научится создавать своих преемников.
“The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement”
This paper argues that true recursive self-improvement isn’t just AI getting better at tasks, but AI getting better at getting better. They map a path from AI simply executing human-designed improvements…
— alphaXiv (@askalphaxiv), September 13, 2026
https://x.com/askalphaxiv/status/2099090716186038640?ref_src=twsrc%5Etfw
Шкала автономности
Центральный вклад работы — пятиуровневая таксономия, измеряющая степень контроля ИИ-системы над собственным циклом улучшения. Этот цикл формализован как S_{t+1} = Improve(S_t, E_t) и включает состояние системы, механизм улучшения, стратегию, верификатор и механизм наследования.
На уровне L1 ИИ выполняет устойчивые улучшения, строго заданные людьми, например автоматизированные конвейеры курирования данных. На уровне L2 система самостоятельно выбирает стратегии улучшения, диагностируя собственные слабые места и определяя способы их устранения. L3 предоставляет системе контроль над будущим опытом обучения, включая решения о том, какие данные или взаимодействия получать, как в случае самообучения через игру с собой или автономного исследования среды.
L4 расширяет эту автономность до устойчивой адаптации во время эксплуатации. На этом уровне ИИ определяет, какой опыт из реального мира следует преобразовать в долговременную память. L5, высший уровень, описанный авторами, предполагает рекурсивное метаулучшение: система изменяет механизмы, отвечающие за будущие улучшения, включая собственный механизм улучшения, алгоритм поиска или оценщик.
Авторы также выделяют три ограничения современных заявлений о самоулучшающихся системах. Во-первых, существующие системы автоматизируют лишь отдельные части процесса самоулучшения. По их мнению, ни одна из них не демонстрирует полного и устойчивого цикла, в котором каждое поколение становится лучше в создании следующего поколения. Во-вторых, более высокие результаты на тестах сами по себе не означают RSI. Улучшения должны наследоваться и повышать способность системы к будущему совершенствованию, а не только улучшать выполнение конкретной задачи. В-третьих, большая автономность не обязательно приводит к созданию более совершенных систем.
В работе пять уровней применяются к областям с различными условиями обратной связи. Программная инженерия, где код можно запускать и оценивать с помощью объективных модульных тестов, названа наиболее перспективной сферой; в ней уже появляются ограниченные характеристики уровня L5. Научные исследования сталкиваются с редкой и дорогостоящей обратной связью, а воплощённый интеллект ограничен разрывом между симуляцией и реальным миром, а также требованиями безопасности. В здравоохранении развитие ограничивают регуляторный надзор и длительные сроки получения результатов.
В работе приводятся промышленные примеры, включая агентов ModelBest «Forge Engineering», которые, согласно сообщениям, обеспечили ускорение работы ядра в 1.15x–1.9x по сравнению с человеческими базовыми показателями. Также упоминается двухконтурная система контроля качества Humanlaya, снизившая долю дефектов данных с 9.0 процента до 3.7 процента за четыре цикла.
Для безопасного RSI авторы выделяют несколько необходимых условий: защищённую от взлома системы вознаграждений верификацию, надёжное наследование с механизмами отката, метрики для определения вклада автономности и долгосрочную оценку на протяжении нескольких поколений улучшений. Остаётся нерешённым вопрос, ускорит ли эта концепция опасный, по мнению некоторых комментаторов, «вертикальный» рывок или лишь придаст большую точность чрезмерно часто используемому термину.
С работой можно ознакомиться через следующие первичные и организационные источники: Шанхайский университет Цзяотун, Университет Цинхуа, ByteDance, ModelBest, Xiaohongshu, Shanghai AI Lab и alphaXiv.
Передовые лаборатории ИИ сталкиваются с вопросами ускорения и контроля
Дискуссия о рекурсивном самоулучшении разворачивается на фоне растущих разногласий внутри ИИ-индустрии относительно темпов развития. Опасения, ранее в основном ограниченные конференциями по безопасности ИИ, переросли в более масштабные институциональные споры. В последние недели в передовых лабораториях сообщалось о нескольких заметных отставках.
Исследователь Anthropic Джейкоб Коксон покинул компанию, предупредив, что ведущие фирмы «играют с нашими жизнями», стремясь к самоулучшающемуся сверхинтеллекту. Один из его старших коллег оценил вероятность вымирания человечества из-за ИИ в более чем 10 процентов в течение ближайшего десятилетия. Ришуб Джейн ушёл из Google DeepMind, решив, что использование ИИ для создания собственных преемников передаёт контроль с темпом, который он не мог принять с этической точки зрения.
Эти увольнения совпали с сообщениями, вызвавшими обеспокоенность состоянием операционной безопасности. Сведения о роях агентов, вышедших из-под контроля для атак на внешние системы, утечке в OpenAI-HuggingFace и автономных агентах, захвативших контроль над немецким вики-форумом, усилили сомнения в том, что современные системы можно надёжно ограничивать.
Исследователь безопасности Nate Soares описал связанную с этим проблему: по мере роста возможностей моделей согласование с человеческими целями не упрощается, а, напротив, становится очевидно сложнее. Поэтому вопрос о сохранении надёжного контроля связан не только с гипотетическими будущими системами, но и с поведением систем, которые разрабатываются и внедряются уже сейчас.
Руководители отрасли ответили предложениями о большей сдержанности. Генеральный директор Anthropic Дарио Амодеи публично призвал «сбавить темп на переднем крае», предложив привлекать встроенных независимых оценщиков, согласованные ограничения темпов развития между демократическими странами и исключения из антимонопольного законодательства, которые позволили бы сотрудничать в сфере безопасности без обвинений в сговоре. Сэм Альтман и Илон Маск поддержали эту концепцию.
Одновременно компании продолжают коммерческое развитие автономного самоулучшения. Хорошо финансируемые стартапы, такие как Recursive Intelligence, прямо строят свой бренд вокруг этой концепции, тогда как ориентированные на безопасность проекты, включая Sampura Research Джейна, привлекают капитал в условиях, когда потенциальные риски получают всё большее признание.
Конкурирующие тенденции способствуют более широкому кризису доверия к технологическим компаниям. Скептицизм общества, расширение военного применения ИИ и опасения по поводу распространения биологического оружия сошлись вокруг вопроса, выходящего за рамки необходимости регулирования: смогут ли регуляторы действовать быстрее, чем развиваются технологии, которыми они стремятся управлять.
