新聞股票隨著AI公司逼近「遞迴自我改進」,物理學教授稱完全自主是「人類史上最糟糕的主意」

隨著AI公司逼近「遞迴自我改進」,物理學教授稱完全自主是「人類史上最糟糕的主意」

作者: Fortune Crypto·

重點速覽

  • •Anthropic表示,其Claude模型目前主導該公司26%的模型研發工作,可在人類監督下從高層級提示端到端完成大部分任務。
  • •各大AI實驗室對遞迴自我改進的定義不一,從AI對模型改進提供任何回饋到完全自主的自我改進都有,因此各公司宣稱的進展無法直接比較。
  • •OpenAI已打造出自動化「研究實習生」,並設定2028年3月實現自動化AI研究員的目標,同時承認尚不知道如何安全達成完全對齊的RSI。
  • •Elon Musk表示,xAI的Grok後續模型在人類參與程度越來越低的情況下打造,此里程碑可能在今年年底前達成,但不會晚於2027年。
  • •微軟AI執行長Mustafa Suleyman推動保持在明確限制內的「人文主義超級智慧」,而業界對於為安全協調放緩AI發展的呼籲仍存在分歧。
隨著AI公司逼近「遞迴自我改進」,物理學教授稱完全自主是「人類史上最糟糕的主意」

人工智慧模型自學變得更高效、更強大——曾是技術研究人員遙不可及的願景——如今正越來越接近現實。

隨著技術進展,開發者表示,AI正逼近「遞迴自我改進」(recursive self-improvement,簡稱RSI),即AI模型找到自我改進的方法並打造自己的後繼版本。科技業高層表示,這項轉變可望為科學和醫學帶來突破,但同時也伴隨風險。

對其最終走向的不確定性,正是人們日益擔憂AI逃脫人類控制、甚至威脅人類的核心原因。這些疑慮促使多位AI業界重量級人士上週末聯署呼籲放緩該技術的成長速度。

Anthropic本週詳細說明其模型Claude如何協助該公司開發下一代更智慧的版本。Claude目前主導Anthropic 26%的模型研發工作,該公司表示,這意味著Claude能在人類監督下「從高層級提示端到端」完成大部分給定任務。這些模型尚未完全自主運作——至少目前還沒有。

RSI定義各不相同

各大AI龍頭公司對遞迴自我改進的定義並不一致。有些將其定義為AI對模型改進提供任何回饋,另一些則將其定義為AI完全自主地朝此目標邁進。這個區別至關重要:由於業界對何謂RSI沒有共同標準,不同實驗室宣稱的進展並非都在衡量同一件事。

非營利組織「生命未來研究所」(Future of Life Institute)所長兼執行長、加州大學聖塔克魯茲分校物理學教授Anthony Aguirre表示,自主的遞迴自我改進,基本上是指AI能透過設計系統的下一個版本來改進自身,然後再設計下一版,依此類推。

「這裡真正重要的是,隨著AI承擔更多這類工作,速度會越來越快,因為AI的運作速度遠遠快於人類,」他說。

專家權衡失控風險與漸進現實

康乃爾大學電腦科學助理教授John Thickstun專門研究控制AI模型行為的方法。他表示,圍繞RSI的恐懼主要源於此過程可能催生失控的超級智慧——即自我改進系統的進展超出人類監控控制能力的情境。但他也說,更務實的觀點認為,某種形式的遞迴自我改進在AI開發中已進行了一段時間。

「多年來,我們早已在輔助角色上使用這些模型來打造下一代模型。人們用上一代模型為AI系統編寫程式碼,再由這些系統打造出下一代,」他說。

包括OpenAI共同創辦人Andrej Karpathy在內的知名AI研究人員,多年來一直嘗試讓AI模型訓練和改進新的AI系統。Thickstun表示,這些努力帶來了小幅改進,但尚未產生重大創新躍進。

不過Aguirre表示,如今AI公司距離實現這種更大規模的躍進已經近得多。

「從Anthropic這些隨時間變化的圖表中可以看到,越來越多的研究工作正由AI完成,並且越來越接近完全自主,」他說。「而這種成功的最終結果,我認為是極其可怕的。我認為這可能是人類歷史上最糟糕的主意。而是的,他們正在這麼做。」

Anthropic的公告讓公眾——以及其他實驗室——得以一窺RSI的進展,並鼓勵競爭對手公布類似指標。競爭對手隨後公布的數據,可望為業界提供比較自主研究進展的共同基準。儘管如此,Anthropic並未明確說明其距離實現完全自主的模型改進還有多遠。

OpenAI的「研究實習生」與2028年目標

ChatGPT開發商OpenAI本月宣布已打造出一個自動化的「研究實習生」,該公司將其定義為能在人類指導下執行明確研究任務的系統,包括「一名熟練研究員需要數天才能完成的任務」。該公司表示,正朝著在2028年3月前打造出自動化AI「研究員」的目標邁進。這個日期為外界提供了一個由公司明確宣布的具體里程碑,用以衡量其進展。

OpenAI在該公告中表示,雖然RSI有助於使模型的行為與人類價值觀和意圖保持一致,但這並不代表「快速實現RSI必然是我們應該追求的結果」。

「是否以及如何推進,必須取決於我們維護人類控制的能力,以及社會對效益與風險所作的知情民主選擇,」該公司在部落格文章中表示。

Musk釋出xAI更快的時程信號

Elon Musk似乎更急於向前推進。他今年3月在談及xAI的Grok模型時表示,在模型改進方面「人類在迴圈中的參與正逐漸減少」,並且「每一代後續模型都由前一代打造」,但他澄清該流程尚未完全自動化。他補充說,這個目標可能在今年年底前達成,「但不會晚於」2027年——這個時程領先於OpenAI的2028年3月目標,儘管兩家公司對此里程碑的描述有所不同。

微軟的「人文主義」替代路線

微軟和其他一些AI龍頭公司似乎正採取不同的路線。微軟AI執行長Mustafa Suleyman曾表示,該公司正邁向「人文主義超級智慧」——即服務於人類及全人類福祉的先進AI能力。Suleyman在2025年的一篇文章中表示,並不代表「一個擁有高度自主性、無邊界且無限制的實體」,而是「經過審慎校準、置於情境之中、有所限制」的AI。

安全措施難以跟上步伐

實驗室面臨的一項關鍵挑戰——實際上自這項技術誕生以來就存在——是確保安全措施能與模型能力同步發展。

圍繞為安全起見協調放緩AI發展的呼籲,科技業界已出現分歧,且並非AI領域的每個主要參與者都明確表態其RSI的前進路徑。

一直是放緩節奏呼籲主要發聲者的Anthropic表示,願意放慢或暫時暫停其開發工作——前提是全球競爭對手也這麼做,且以「可驗證的方式」進行。

OpenAI本月初明確表示,尚不知道如何「安全地一路實現完全對齊的完整RSI」,並補充說,公司「不能假設對齊與安全方面的進展會跟上步伐」。該公司繼續表示,能力更強的系統可能變得更難監控,但追求RSI仍是其重視的目標,因為「自動化AI研究員也可以是自動化的安全或對齊研究員」。

本文最初刊登於Fortune.com。