AI 奇點辯論從機器智慧轉向治理
重點速覽
- •Anthropic 表示,截至 2026 年 5 月,其合併至生產程式碼庫的程式碼中,超過 80% 由 Claude 撰寫。
- •Anthropic 與 Sam Altman 描述了 AI 日益參與開發的情況,同時指出完全自主的遞迴式自我改進尚未發生。
- •美國前沿模型框架屬於自願性框架,不要求許可或事前審查;NIST 則正在制定代理程式身分、授權、稽核與提示注入防護的控制措施。
- •金融監管機構強調,董事會與高級管理層必須充分理解前沿 AI 風險,以制定策略並監督控制措施。
- •建議中的治理方法包括明確的階段關卡、嚴格的通過門檻、獨立於評分的風險接受決策,以及更頻繁的審查;重大的前沿 AI 計畫可能需要每週更新。

真正的斷裂點可能不是機器超越人類之時,而是 AI 能力以機構無法吸收的速度複合增長之時。
在最近一次風險委員會會議上,問題看似直接:組織的 AI 風險揭露是否仍然準確?答案卻不那麼明確。自上次審查以來,AI 系統已發生重大變化。它們能處理更長的任務、使用更多工具、在較少監督下運作,並直接參與軟體開發與研究。然而,風險框架並未以同樣的速度演進。
未必有任何事情失敗。
問題正在於此。董事會被要求批准一套控制環境,而這套環境是為某種能力特徵已經超越其基礎假設的技術所設計。
奇點辯論應從這裡開始——不是預測機器何時超越人類,而是提出一個較不玄妙、卻更為迫切的治理問題。這種斷裂點不需要智慧爆炸、不需要某個特定日期,也不需要人們就通用人工智慧的定義達成共識。它已經是一個控制問題。
三種通常被混為一談的討論
公眾對 AI 的許多討論之所以混亂,是因為三個不同的概念經常被視為同一件事。
能力描述 AI 系統能做什麼。這是可透過實證檢驗、可測試,且正在快速提升的面向。
自主性描述決策與行動循環中,有多少部分可以在沒有直接人為介入的情況下運作。這正是當前治理挑戰所在。能生成答案的 AI 系統是一回事;能決定下一步行動、存取工具、執行該行動、評估結果並繼續運作的系統,則有本質上的不同。
奇點是一種推測性的斷裂點:AI 驅動的改進變得足夠自我強化,使傳統的人類預測變得不可靠。
這些概念並不能互換。董事不必相信技術奇點即將到來,便能認識到自主性提高會創造不同的控制環境。同樣地,一個人可以相信 AI 能力最終將帶來轉型,卻不相信智慧爆炸不可避免。
這項區分很重要,因為治理不能等到第三個問題獲得答案後,才開始處理第二個問題。
循環尚未閉合,但這不代表它無關緊要
支持這項論點的最有力證據,同時也是最不煽情的證據。前沿 AI 實驗室正日益將部分 AI 開發工作交由 AI 系統自身處理。
Anthropic 描述了一個發展過程:從人類撰寫程式碼,到編碼代理程式撰寫並編輯其中相當大的一部分,再到代理程式執行程式碼並將工作委派給其他代理程式。Anthropic 報告稱,截至 2026 年 5 月,其合併至生產程式碼庫的程式碼中,超過 80% 由 Claude 撰寫。
重要的限定條件在於尚未發生的事情。研究方向仍由人類掌握,循環也尚未完全自主。Anthropic 明確表示,遞迴式自我改進尚未以完全自主的形式發生,而且這種情況並非必然。
Sam Altman 同樣將目前的狀態描述為遞迴式自我改進的「幼蟲」版本,同時承認這與 AI 系統自主重寫自身並不相同。
這項限定反而強化了治理論點,而非削弱它。相關問題不是循環是否已經閉合,而是循環中有多少部分已從人類執行轉向機器執行——以及制度控制是否正同步跟上。
治理運作在不同的時鐘上
監管展現了同樣的節奏問題。美國政府已針對某些前沿模型建立自願性框架,包括在模型發布前讓政府存取受涵蓋模型,以及透過機密基準測試流程判定模型是否達到前沿門檻。該框架明確不包含強制許可或事前審查。白宮
與此同時,NIST 正在制定代理程式身分與授權的實務方法,包括識別、授權、稽核、不可否認性,以及防範提示注入的控制措施。
這個方向意義重大。治理工具正圍繞能夠採取行動的系統重新設計,而不只是圍繞能生成資訊的系統。對組織而言,這代表監督不僅必須追蹤模型能力,也必須追蹤與系統相連的權限、系統、資料及第三方。這些面向決定行動的後果,以及證明行動仍受控制所需的證據。
金融監管機構也同樣明確地強調董事會責任。FCA、英格蘭銀行與財政部表示,企業應確保董事會與高級管理層充分理解前沿 AI 風險,以制定策略方向並監督控制職能。
這並不代表監管機構正在失敗,而是反映一項結構性現實:技術先發生變化,機構則在之後才正式化回應。因此,董事會不能將監管確定性作為採取行動的先決條件。
真正的問題可能是吸收落差
奇點討論在此成為企業議題。一個組織可以取得非凡的 AI 能力,卻在結構上無法吸收它。
金融機構可能部署一個能進行複雜分析的代理程式,但其控制框架仍假設每項具重大影響的建議都由人類分析師提出。零售商可能將定價、庫存與客戶互動的決策自動化,但問責仍以人類經理為核心。科技公司可能允許 AI 系統以前所未有的速度生成並測試軟體,但安全審查、變更管理與事件應變仍按照人類開發週期設計。
能力已經改變。
機構卻沒有。
在稽核與風險委員會、金融服務、零售、媒體、奢侈品、體育與科技領域的經驗,都強化了同一種模式:能力可以同時抵達各處,但吸收速度會因監管、既有基礎設施、勞動力結構與控制成熟度而有極大差異。
這種差異很重要。從風險與保險經紀的角度來看,這正是 AI 風險不再只是白皮書上的議題,而開始成為保費的時點。保險公司、投資者、監管機構與董事會最終都會提出相似的問題:組織能否證明自己理解並控制正在創造的風險暴露?
治理應該與 AI 一樣快嗎?
直觀的回應是讓治理加快腳步。但更快的治理不一定是更好的治理。
因此,目標或許不應是讓治理跟上技術的速度,而是以維持控制所需的速度進行治理。董事會適合提出的問題,可能不是「我們是否已批准這項 AI 能力?」而是:「自上次批准以來,能力、自主性、存取權限或後果特徵發生了什麼變化?我們的控制措施是否也相應改變?」
這是一個更難的問題,但也更有用。
治理工具
大多數 AI 評論最後都以警告收尾。董事會需要更具實用性的東西:一套假定環境將持續變動的機制。
答案不是更準確地預測奇點何時發生,而是一道動態治理關卡,用來衡量機構是否仍有能力控制已部署的系統。
這項工具應具備五項特徵:
- 明確的階段關卡。 AI 計畫應依據評分標準推進,而不是依靠敘述性的狀態更新。能力、自主性、存取權限、控制覆蓋範圍、韌性與問責都應被明確評估。
- 部分得分。 組織需要看見自身在哪些方面有所改善,同時不能將進展與準備就緒混為一談。
- 嚴格的通過門檻。 如果關鍵控制要求未達成,樂觀態度不應成為例外通行證。
- 決策里程碑與分數分開。 董事會可以有意識地接受一項風險,這是正當的治理行為。但判斷應以判斷的形式清楚呈現,而不應偽裝成一個數字。
- 更快的更新頻率。 如果能力可能在兩次季度董事會議之間發生重大變化,季度報告在結構上就無法提供充分的可見性。重大的前沿 AI 計畫可能需要每週更新。
這套模式正應用於一項正在運作的數位銀行計畫。可移植的經驗很直接:當環境快速變動時,治理必須衡量變化,而不只是記錄變化。
因此,董事會應能回答幾個問題:系統現在能做什麼,是上次審查時還做不到的?它能在沒有直接人為介入的情況下作出哪些決策或採取哪些行動?它可以存取哪些系統、資料、憑證與第三方?哪些控制措施在這些行動之前、期間及之後運作?什麼證據能證明這些控制措施有效?剩餘風險發生了什麼變化?機構吸收這項能力的能力是否跟上能力本身的發展?
如果管理層無法回答這些問題,問題就不再只是 AI 成熟度,而是治理成熟度。
董事會應該辯論的問題
奇點最終可能被證明是一個智慧斷裂點。然而,董事會不需要解決這個哲學問題。還有一個更迫切、值得治理的斷裂點:機器能力可能以快於制度控制的速度複合增長。
這個議題底下存在一場正當的辯論。答案或許是更強的治理,或許是設計更完善的治理。在某些情況下,答案也許是在機構具備吸收能力之前,不要部署相關能力。
最後一種立場會讓一些科技領導者感到挫折。它應該如此。治理的目的不是讓部署變得毫無阻力。但治理也不應成為機構陷入癱瘓的藉口。挑戰在於分辨兩者的差異。
因此,董事會要問的不是「機器何時會超越我們?」而是:「在確定我們的機構能夠吸收之前,我們願意治理多少自主性?」
這是一個董事會可以回答的問題。與奇點發生的日期不同,它不能被延後。
奇點是關於機器的問題。治理落差則是關於我們自己的問題。
原始來源:TechNext24