AI減速呼聲為開放權重模型帶來新挑戰
重點速覽
- •權重公開發布後,組織得以在原始開發者直接控制之外客製化與營運模型。
- •開源AI帶來涉及模型權重、訓練資料、微調流程與來源溯源的安全與治理風險。
- •更嚴格的評估與合規要求對大型AI公司而言,可能比對規模較小的開放權重開發者更容易達成。
- •部署經修改模型的企業可能需要管理驗證、資料存取、權限、正式環境監控與稽核紀錄。
- •責任可能在原始開發者(持續為已發布模型及已知負責)與企業(掌管部署決策與修改)之間劃分。

正當人工智慧界最具份量的人物呼籲以更慢、更審慎的方式推進前沿AI開發之際,開放權重模型浮現出另一項治理問題:開發者發布權重(即決定模型如何產生輸出的學習參數)之後,誰應為其安全負責?
在9月12日一篇引發最新AI減速辯論的文章中,Anthropic執行長Dario Amodei主張AI開發必須放慢腳步,讓安全工作有時間追上模型能力。OpenAI執行長Sam Altman及其他AI領袖與研究人員也已呼籲採取更審慎的步調。
迄今為止,這場辯論主要聚焦於前沿開發者及其控制模型使用方式的能力。然而,部分企業已經開始以開放權重模型進行實驗與開發——在自己的基礎設施上下載、客製化並執行這些模型。
例如,Databricks在其平台上提供Kimi K3、Qwen與DeepSeek等模型。更廣泛的生態系還包括Meta的Llama與Mistral的模型等眾多其他模型。生態系的範圍遠超出這些知名模型:開源平台Hugging Face於8月表示,其儲存庫中已有近300萬個公開模型,涵蓋各種規模與用途。
雖然這些模型讓企業對部署擁有更多控制權,但原始開發者通常會失去對已發布權重被修改、部署與使用方式的直接技術控制,儘管授權條款與法律限制仍可對其使用與再散布施加限制。
減速辯論暴露了集中式安全的侷限
對於封閉或專有AI模型,開發者通常掌管系統的存取權限,可以施加使用限制、監控活動,並在必要時變更或撤銷存取。
開放權重模型改變了這種動態。開發者公開發布權重後,組織即可下載並在自己的環境中執行。他們可以修改或微調模型——利用額外資料將預訓練模型調整至特定任務——並可能透過各種基礎設施供應商部署。
這種彈性使開放權重AI對企業具有吸引力但也使傳統的AI監管方式更難適用。權重一旦公開,原始開發者對組織如何修改與部署模型的監督能力大幅下降。開源供應商在發布權重後,實際上也無法將其撤回。
「所提議的修補方案、內嵌稽核員與持續監控,只有在供應商仍控制模型時才有效,」總部位於維吉尼亞州阿靈頓、為餐飲業打造統一商務與智慧廚房平台的Qu公司AI長Manuel Schonfeld表示。「一旦權重離開原廠,這項工作就落在部署它們的企業身上,而不是訓練它們的一方。」
這並不代表開放權重模型應豁免於安全要求,因為它們本身就可能帶有安全與濫用風險。英國政府近期委託的一項研究發現,雖然傳統開源軟體擁有較成熟的安全實務,但開源AI帶來涉及模型權重、訓練資料、微調流程與來源溯源的額外風險。該報告也發現,有關開源AI安全與治理的研究仍然有限。
更嚴格的監管規則可能推高開放權重AI的成本
解決這項安全挑戰的方式之一,是賦予開發者更多責任。但如果減速辯論導致更嚴格的合規與評估要求,大型AI公司可能比規模較小的開放權重開發者更容易達標。
最大的實驗室擁有處理測試、評估與合規的資源,而較小的開發者可能難以滿足更嚴格的要求。
專門為科技公司提供策略與成長諮詢的IT服務公司Digital 520創辦人暨首席顧問Noah Kenney表示,如果企業要求較小的供應商提供與大型供應商相同的稽核與證據,合規要求可能成為一道門檻。「如果合規成本有利於較大的供應商,企業在最大AI公司之外的選擇可能會更少,」他補充道。
Amodei在文章中提出的第三方安全評估構想同樣凸顯了這項挑戰。他的計畫將讓獨立評估者對前沿AI實驗室擁有持續、類似員工的存取權限。這種做法在權重發布後難以套用於開放權重模型,因為組織可以在未經原始開發者參與的情況下修改並再散布模型。
獨立評估仍有助於改善AI安全,但開放權重模型使人們更難判定開發者發布模型後,應由誰來監督。
可能繼承更多責任
如果減速辯論使測試、監控與問責受到更多重視,部署開放權重模型的企業可能須自行承擔更多治理負擔。
曾與開放權重供應商合作的雲端軟體測試平台開發商Sauce Labs總裁暨執行長Prince Kohli表示,開放權重模型讓企業對模型執行位置、客製化方式與資料管理擁有更多控制權。但這種控制權也帶來營運與治理責任。
「企業在決定部署哪種模型時,需要考量各個使用案例的風險,」Kohli說。他表示,開放權重模型或許適合簡單、低風險的任務,而複雜或攸關業務的工作流程則需要更高的安全性與可預測性標準。
Kohli指出,企業一旦自行修改並營運模型,就需要了解模型的來源、控制其可存取的資料,並持續評估其輸出,尤其是在模型生成程式碼或驅動能採取或影響行動的代理程式時。
Kenney表示,責任歸屬可能應依各方貢獻與控制的內容來劃分:原始開發者應為其發布的模型及已知限制負責,而企業則應為其微調、資料、工具、權限與部署決策負責。
這意味著企業可能需要驗證模型、保護其執行環境、監控正式環境中的行為,並保存稽核證據。
對企業而言,尤其是部署開放權重模型的企業,安全與治理並不因選定模型而結束——它們貫穿部署與使用的全過程。挑戰不僅在於決定AI應以多快的速度推進,也在於釐清當開發開放權重模型的公司失去對已發布權重使用方式的直接技術控制後,問責機制應如何運作。這場減速辯論將如何收場——包括任何新的評估與合規要求是否會考量已公開的權重——對開發者與企業而言都仍是未解的問題。
來源:AI Business — Calls for AI slowdown raise new challenges for open-weight models