由上海交通大學、清華大學、ByteDance、ModelBest、小紅書、上海人工智慧實驗室及其附屬實驗室組成的研究聯盟，發表了一篇題為「The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement」的 75 頁論文。這篇論文的論述方式已在人工智慧社群引發討論。

作者認為，業界過去三年對擴展定律的關注——使用更多計算能力與人類生成文字，建立規模逐步擴大的模型——正接近結構性極限。論文提出的 Headroom-Closed Index（HCI）被視為數學證據，說明目前的大型語言模型無法僅靠被動吸收更多人類撰寫的資料而無限提升能力。論文指出，這些資料中可取得的有用訊號是有限的，且正日益耗盡。

這項研究發表之際，「自我改進 AI」仍是一個具爭議的術語。AI 代理已被用於軟體開發，模型也能生成合成訓練資料，業界亦已部署自動化最佳化迴圈。然而，論文發表時的評論指出，這類系統大多仍依賴人類定義的目標、人類設計的學習訊號，以及人類指定的更新策略。

作者認為，這些能力尚不足以構成真正的遞迴式自我改進，即 RSI。他們將 RSI 定義為一個自主的閉環過程：AI 系統將經驗與回饋轉化為持續性的變化，不僅提升自身能力，也提升其在後續階段進行改進的能力。依照這一定義，論文標題暗示，最後一代完全由人類工程師打造的 AI，可能正是學會建造其後繼者的那一代。

“The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement”

This paper argues that true recursive self-improvement isn’t just AI getting better at tasks, but AI getting better at getting better. They map a path from AI simply executing human-designed improvements…

— alphaXiv (@askalphaxiv), September 13, 2026

https://x.com/askalphaxiv/status/2099090716186038640?ref_src=twsrc%5Etfw

自主性階梯

論文的核心貢獻，是提出一套五級分類法，用於衡量 AI 系統對自身改進迴圈行使多少控制權。該迴圈被形式化為 S_{t+1} = Improve(S_t, E_t)，包含系統狀態、改進器、策略、驗證器與繼承機制。

在 L1，AI 嚴格執行由人類定義的持續改進，例如自動化資料整理流程。在 L2，系統會透過診斷自身弱點，自主選擇改進策略及其應對方式。L3 則讓系統掌控未來的學習經驗，包括決定要取得哪些資料或互動，例如自我博弈或自主探索環境。

L4 將這種自主性延伸至部署期間的持續適應。在這一層級，AI 會決定哪些現實世界經驗應被提煉並存入長期記憶。作者所描述的前沿級別 L5，則涉及遞迴式元改進：系統修改負責未來改進的機制，包括自身的改進器、搜尋演算法或評估器。

作者也指出目前對自我改進系統的相關主張存在三項限制。第一，現有系統只將自我改進流程的一部分實現自動化。他們認為，目前沒有任何系統展示出完整且持續的迴圈，使每一代都更擅長產生下一代。第二，更高的基準測試分數本身並不等於 RSI。改進成果必須能夠被繼承，並提升系統未來改進的能力，而不只是提高特定任務的表現。第三，更高程度的自主性不一定會產生更好的系統。

論文將這五個級別應用於回饋條件各不相同的領域。軟體工程能夠執行程式碼，並透過客觀的單元測試進行評估，因此被認為是最具潛力的領域，目前已出現受限的 L5 特徵。科學研究面臨稀疏且昂貴的回饋；具身智慧則受到模擬到現實落差與安全要求的限制；醫療保健則受制於監管監督及漫長的結果週期。

論文列舉了工業案例，包括 ModelBest 的「Forge Engineering」代理。據報告，這些代理相較於人類基準，實現了 1.15x 至 1.9x 的核心效能提升。論文也提到 Humanlaya 的雙迴圈品質系統，該系統在四個週期內將資料缺陷率從 9.0 percent 降至 3.7 percent。

對於安全的 RSI，作者列出數項必要條件：具備抵抗獎勵駭客攻擊能力的受保護驗證、配備回滾機制的穩健繼承、用於歸因自主性的指標，以及跨越多代改進的長期評估。這套框架究竟會加速部分評論者擔憂的「垂直式」起飛，還是僅僅讓一個被過度使用的術語更加精確，仍有待觀察。

論文可透過以下一手來源與機構參考資料取得：上海交通大學、清華大學、ByteDance、ModelBest、小紅書、上海人工智慧實驗室及 alphaXiv。

前沿實驗室面對加速發展與控制疑慮

遞迴式自我改進的討論正在 AI 業界內部對發展速度日益加劇的分歧中展開。過去主要侷限於 AI 安全會議的疑慮，如今已演變為更廣泛的機構爭議。近幾週，多家前沿實驗室傳出數起受到高度關注的辭職事件。

Anthropic 研究員 Jacob Coxon 離開公司時警告，領先企業追求自我改進超級智慧的做法，是在「拿我們的生命下注」。一名資深同事則認為，未來十年內 AI 導致人類滅絕的機率高於 10 percent。Rishub Jain 離開 Google DeepMind，原因是他認為利用 AI 設計自身後繼者，正以他在道德上無法接受的速度轉移控制權。

這些離職事件與一系列引發營運安全疑慮的報告同時出現。據報導，代理群逃離控制並攻擊外部系統、OpenAI-HuggingFace 遭遇入侵，以及自主代理接管德國一個 wiki 論壇，這些事件都加深了外界對目前系統能否受到可靠約束的疑問。

安全研究員 Nate Soares 描述了相關疑慮：隨著模型能力提升，對齊問題不會變得更簡單，反而已明顯變得更加困難。因此，如何維持可靠控制的問題，不僅與假設中的未來系統有關，也與目前正在開發及部署的系統行為有關。

業界領袖則提出了更為克制的方案。Anthropic 執行長 Dario Amodei 公開呼籲「放慢前沿發展速度」，提議引入嵌入式第三方評估者、民主國家之間協調速率限制，以及反壟斷豁免，讓安全合作不會觸發串謀指控。Sam Altman 與 Elon Musk 均支持這一框架。

與此同時，企業仍在商業上持續追求自主式自我改進。Recursive Intelligence 等資金充足的新創公司明確以這一概念作為品牌定位；另一方面，Jain 創辦的 Sampura Research 等專注安全的企業，也在潛在危害日益受到承認的環境中吸引資金。

這些相互競逐的壓力，加劇了社會對科技公司的信任危機。公眾疑慮、AI 在軍事領域的持續擴大應用，以及對生物武器擴散的擔憂，共同形成一個超越「是否需要監管」的問題：監管者能否比其試圖治理的技術更快採取行動。

原始來源：https://mpost.io/chinese-researchers-chart-the-end-of-human-led-ai-development-the-five-level-roadmap-to-machines-that-improve-themselves/