新聞股票Nvidia 推出 Nemotron 3.5 Lightning 開源模型,專為企業特定任務設計

Nvidia 推出 Nemotron 3.5 Lightning 開源模型,專為企業特定任務設計

作者: AI Business·

重點速覽

  • Nvidia 於 8 月 11 日發布 Nemotron 3.5 Lightning,這是一個擁有 300 億參數的混合專家模型,旨在讓企業在 RTX PC、DGX Spark 和 Jetson 系統等設備上進行本地部署。
  • 該模型在 Linux Foundation 的 OpenMDW 1.1 授權下發布了權重、程式碼、配方和訓練數據,使其成為一個完全開源的版本。
  • Nvidia 同時推出了 NeMo Switchyard,這是一個開源庫,可將提示和智能體請求路由到企業自有混合的開源、專有或 Nvidia 模型中最適合的模型。
  • 此次發布跟隨中國廠商阿里巴巴和 Moonshot AI 近期的開放權重模型發布,正值 Trump 政府考慮對來自中國的開放權重模型實施限制之際。
  • 分析師指出,Nvidia 的開源模型策略既能與中國廠商競爭,也有助於推動對 Nvidia 晶片、網路和推理軟體基礎設施的需求。
Nvidia 推出 Nemotron 3.5 Lightning 開源模型,專為企業特定任務設計

在中國開放權重模型的關注持續升溫之際,AI 硬體廠商 Nvidia 推出了其最新的開源模型:Nemotron 3.5 Lightning。該模型於 8 月 11 日發布,設計目標是體積足夠小,讓企業能夠在本地設備上運行,同時針對大型多智能體系統中的特定任務。

Nemotron 3.5 Lightning 是一個混合專家模型——這種架構在處理任何給定查詢時只激活模型總參數中的一個子集,使其能夠以比同等規模密集模型更低的推理成本提供更強的性能。它能夠執行專業功能,例如程式碼審查、工具使用、安全警報監控和帳單問題解答,Nvidia 表示。該公司在 Linux Foundation 的 OpenMDW 1.1 授權下發布了模型權重、程式碼、配方和訓練數據,使其成為一個完全開源的模型。

該模型是 Nvidia Nemotron 3 開源模型系列的一部分,該系列最初於去年 12 月發布。它擁有 300 億參數——小於 Nemotron 3 Ultra(5500 億),大於 Nemotron 3 Nano(80 億)——旨在幫助企業在本地設備上構建智能體應用。

與 Nemotron 3.5 Lightning 一同發布的還有 NeMo Switchyard,這是一個用於在流行的智能體應用中進行路由的開源庫。該公司表示,企業可以使用 Switchyard 將提示或智能體請求路由到最適合的模型,涵蓋其自有混合的開源、專有或 Nvidia 模型。隨著組織採用多模型架構,根據成本、延遲和能力需求將不同任務分配給不同模型,模型路由工具已成為企業 AI 技術堆棧中日益重要的一環。

這兩項發布距離 Nvidia 執行長 Jensen Huang 透露這家 AI 硬體軟體巨頭已加入廣泛的科技廠商聯盟捍衛開源不到一個月,當時 Trump 政府正在權衡對來自中國的開放權重模型的限制。Huang 在一篇 X 貼文中表示,開放模型能夠實現主權並增強安全和網路安全。

Nemotron 3.5 Lightning 是自上個月關於中國開放模型進展的辯論加劇以來,Nvidia 發布的首個開源模型。當時,中國 AI 廠商阿里巴巴和 Moonshot AI 發布了價格低廉但功能強大的開放權重模型。Nvidia 的這次發布也距離社群媒體巨頭 Meta 發布其最新開源模型僅一天。

「這證明了中國模型的影響力有多大,而且將持續下去,」Futurum Group 分析師 Bradley Shimmin 表示。他補充道,許多人認為阿里巴巴 Qwen 3.8 Max 是「本地可用開源智能體開發的基準」。

支撐 Nvidia 的基礎設施

對 Nvidia 而言,提供開源模型不僅是與中國廠商競爭的策略,也是推動其晶片和硬體銷售的一種方式,Gartner 分析師 Arun Chandrasekaran 指出。

「模型幫助 Nvidia 更好地銷售其基礎設施,」Chandrasekaran 說。「當你銷售一個模型時,你必須在某個地方運行這個模型。運行模型需要網路、推理軟體和數據訓練。」

「維持一個充滿活力的模型生態系統符合 Nvidia 自身的利益,而且模型生態系統不應過度集中,」Chandrasekaran 繼續說道。他指出,在大多數情況下,企業使用 Nvidia 的模型是針對特定任務、本地部署,或存在重大主權考量的場景。

Nvidia 表示,透過 Nemotron 3.5 Lightning,企業用戶可以在本地 AI 系統上運行該模型,包括 Nvidia 的 RTX PC、DGX Spark 和 Jetson。對本地部署的強調反映了企業向本地 AI 基礎設施的更廣泛轉變,這一趨勢受到數據主權法規、隱私合規要求以及控制持續運營成本的需求所驅動。

訓練數據與模型規模

Shimmin 表示,Nvidia 決定同時發布訓練數據與模型之舉值得讚許。「除了 IBM 之外,很少有廠商一直在推動和宣揚這種能力,即『如果你確實關心採用 AI 的風險暴露,你就應該關心用於構建這些模型的訓練數據,』」他說。「一切都始於數據,最終也終於數據。」

Nemotron 3.5 Lightning 的 300 億參數規模說明了像 Nvidia 這樣的廠商開始意識到需要對模型進行「適當規模化」,Shimmin 補充道。他表示,許多廠商意識到,目前透過 API 以每次 token 計費的方式存取模型過於昂貴,而在本地使用模型有助於企業證明生成式 AI 的成本合理性。此次發布也反映了更廣泛的產業趨勢,包括 Meta、Mistral 和阿里巴巴在內的廠商在旗艦系統之外推出了更小、面向任務的模型,認識到許多企業使用場景不需要前沿規模的能力。

「Token 經濟學隨著時間推移已被證明對公司來說有些風險,因為公司既不了解其 token 支出,也無法實際獲得對支出方式的可觀察性或透明度,」Shimmin 說。