Super Micro Computer(SMCI)股價在沉重賣壓下暴跌10.03%至26.63美元,跌幅2.97美元。此次下跌發生的同時,該公司宣布了一項與IBM和NVIDIA合作開發的全新AI儲存解決方案,此技術旨在加速AI推論、提升GPU效率,並支援不斷擴大的企業工作負載。

Supermicro與IBM和NVIDIA合作推出AI儲存解決方案

Supermicro推出全新的KV cache儲存平台,結合了三家主要基礎架構供應商的技術。該系統整合Supermicro Petascale全快閃伺服器、IBM Storage Scale軟體與NVIDIA Dynamo,並建構於AMD EPYC 9005處理器之上,搭配NVIDIA Spectrum-X乙太網路。

此次合作瞄準企業應用與雲端基礎架構對更快AI推論日益成長的需求。現代AI系統處理更龐大的資料集與更長的對話,對現有記憶體資源造成更大壓力,企業需要能在不降低處理效率的前提下處理複雜工作負載的儲存系統。KV cache卸載正是針對這一限制:它將可重複使用的模型上下文從有限的GPU記憶體轉移至共用快閃儲存,使快取容量成為可隨需求擴充的資源。

Supermicro設計該平台以將KV cache容量擴展至本地GPU記憶體之外。這種方式讓AI系統能重複使用先前處理過的資訊,而非重複計算。共用儲存也有助於組織在維持一致應用程式效能的同時擴充推論容量。

KV Cache技術實現最高56倍的首token回應速度

Supermicro與NVIDIA使用一個包含1,200億參數的大型語言模型測試此技術。測試結果顯示,在13萬token的提示下,首token回應時間效能最高提升56倍,證明了系統重複使用快取資訊時的顯著改善。首token回應時間衡量的是模型開始產生輸出前的等待時間,當上下文未被快取時,此延遲會隨提示長度增加而上升。

測試期間,輸入長度從3萬token增加到13萬token,使用快取時回應準備時間僅增加0.377秒,而未使用快取則需29.55秒。這些結果突顯了此技術對處理大量資訊之應用程式的潛在效益。

該平台還透過減少不必要的運算與處理延遲來支援更高的GPU使用率。其共用架構讓多個GPU叢集能有效率地存取儲存的上下文,兩家公司也在高負載工作與網路流量競爭條件下驗證了該系統。對於運行大量並發推論工作負載的營運商而言,這種組合將儲存架構與GPU生產力和服務容量直接連結起來。

Supermicro瞄準企業AI基礎架構成長

隨著企業增加對AI部署與推論服務的支出,此次公告擴展了Supermicro的基礎架構產品組合。企業應用日益依賴程式碼助理、自動化工作流程以及處理長篇文件的系統,這些應用都需要可靠的儲存容量搭配強大的運算資源。

Supermicro也為新平台提供工廠機架整合與部署服務。據該公司表示,這些服務可將部署時間從數週縮短至數天。IBM提供儲存管理功能,而NVIDIA則供應推論軟體與網路技術。

儘管股價大幅下跌,此次合作仍強化了Supermicro在企業AI基礎架構領域的地位。該公司表示,其最新解決方案針對高要求應用中的運算效率、儲存擴充性與系統可靠性。然而,此次公告並未包含財務預測或新平台已確認的營收貢獻,客戶採用情況與平台的商業貢獻仍有待未來的公司揭露來觀察。

來源:Blockonomi