前OpenAI研究員:六款中國AI模型建基於被禁運的Nvidia晶片
重點速覽
- •被識別出的六款模型為DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3,以及螞蟻集團的Ling-3.1-flash。
- •其中四款模型與Nvidia的GB200或GB300 Grace Blackwell系統相符,其餘兩款則與B200或B300晶片相符。
- •DePue估計,規模最大的Kimi K3與DeepSeek-V4-Pro訓練各使用了約2,000至3,000顆Blackwell GPU,五次最終訓練合計成本超過5億美元。
- •報告指出,證據並未顯示晶片的所在地、擁有者或取得方式,且並非認定任何法律遭到違反。
- •截至發稿時,Nvidia、DeepSeek、月之暗面、MiniMax與螞蟻集團均未對該報告作出回應。

根據11月12日發表的調查結果,一項針對公開模型權重的鑑識分析顯示,來自中國四大領先實驗室的六款人工智慧模型,是在被禁止出口至中國的Nvidia Blackwell晶片上完成初始化。Blackwell是Nvidia最先進的資料中心晶片世代,是催生H100的Hopper架構的後繼者,且尚未獲准在中國銷售。
這些模型來自DeepSeek、月之暗面、MiniMax與螞蟻集團。
這項分析由前OpenAI研究員Will DePue進行。他於2023年加入OpenAI,曾參與Sora影片模型以及o3和GPT-4o的後訓練工作。DePue透過Unemployment Labs發表了這項分析。他表示,該分析完全依賴各公司公開發布的權重——即編碼模型行為的數值參數——而非外洩資料或內部消息。他在X上發文表示,OpenAI與Anthropic的資深研究人員已獨立驗證了這一結果。報告並未列名任何外部審查者。
被識別出的六款模型為DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3,以及螞蟻集團的Ling-3.1-flash。根據報告,其中四款與Nvidia的GB200或GB300 Grace Blackwell系統相符——該系統將Nvidia的Grace處理器與Blackwell GPU配對,專為大規模訓練而設計——其餘兩款則與B200或B300晶片相符。
此方法基於模型權重在訓練開始前所獲得的初始數值。DePue表示,這些數值的排列取決於確切的GPU型號與所使用的隨機種子,而該模式的痕跡會保留在已發布的模型中。他表示,他搜尋了超過六兆種晶片排列與隨機種子的組合以尋找匹配。
他隨後在實際硬體上測試了這些匹配結果。利用還原的隨機種子,一台Blackwell B300逐位元重現了DeepSeek-V4-Flash未經更動的初始權重,一台租用的GB200則重現了Kimi K3全部13個保留的資料列。Nvidia較舊的H100無法重現V4-Flash的任何資料列,AMD的MI300X也同樣無法。將隨機種子加一,所有匹配即告失效。報告指出,純屬巧合所能產生的最強匹配約為8個標準差;而實際匹配則介於49至1,385之間。
DePue估計,規模最大的兩次訓練——Kimi K3與DeepSeek-V4-Pro——各使用了約2,000至3,000顆Blackwell GPU。他估計每個叢集成本為1.5億至2億美元,五次最終訓練合計超過5億美元。
報告明確說明其局限性。報告指出,該方法「識別的是生成初始權重的硬體,而非後來參與訓練模型的每一顆晶片」。報告並表示,證據並未顯示晶片的所在地、擁有者或取得方式,並指出Blackwell系統可在中國以外的資料中心租用。用報告的話說,這些結果「並非認定任何法律遭到違反」。
這項分析加劇了外界對中國實驗室如何取得Nvidia頂級晶片的既有關注。華盛頓自2022年10月起限制Nvidia領先的AI晶片出口至中國,此政策促使Nvidia向中國市場出售H20等中國專用的降規晶片,而其頂級硬體仍被禁止出口。7月時,白宮科學顧問Michael Kratsios表示,月之暗面曾「在泰國使用GB300,很可能是為了訓練其AI模型」,所指的是Kimi K3。11月12日,《The Information》報導,與Alice Huang相關的公司投資了DeepSeek並承諾向其提供Nvidia晶片。前一天,參議員Elizabeth Warren與Chris Coons敦促川普政府保存Nvidia的出口紀錄。
截至發稿時,Nvidia、DeepSeek、月之暗面、MiniMax與螞蟻集團均未對該報告作出回應。DePue表示,基於同一方法的更多結果即將發表。
本文基於CryptoBriefing的原始報導;原文由Diego Almada Lopez編輯。