由 vLLM 維護者創立的舊金山 AI 基礎設施新創公司 Inferact,已籌得1.5億美元種子輪資金。這輪融資於2026年1月22日宣布,投後估值達8億美元,投資方包括 Andreessen Horowitz 與 Lightspeed Venture Partners。

其商業構想很直接:將一款最廣泛用於執行大型語言模型的開源工具,圍繞它建立商業業務,同時不閉源。

Inferact 實際上在賣什麼

vLLM 透過一項名為 PagedAttention 的技術解決推理效率問題。這種做法借鑒了虛擬記憶體的概念,也就是作業系統用來在多個程式之間調度有限 RAM 的機制。系統不再為每個請求保留大塊固定的記憶體,而是按需以較小的分頁分配記憶體。閒置記憶體減少,同一硬體便能服務更多請求。

這一層的利害關係是結構性的。推理是 AI 的經常性成本——部署模型服務的每個請求都消耗運算與記憶體——因此效率提升會直接累積為每個請求成本的降低,而非一次性的節省。

這個專案的影響範圍廣泛。vLLM 支援超過500種模型架構與200多種硬體加速器,並有超過2,000名貢獻者參與開發。Amazon、Meta 和 Google 都在生產系統中使用 vLLM。

Inferact 計劃在這個開源專案之上疊加付費服務,包括讓客戶無需自行管理伺服器即可執行模型的無伺服器方案,以及用於監控部署行為的更強可觀測性工具。公司表示其重點是從成本、延遲和吞吐量三個槓桿調校推理效能。

從伯克利實驗室到8億美元新創

vLLM 於2023年誕生於加州大學柏克萊分校的 Sky Computing Lab,該實驗室由 Databricks 共同創辦人 Ion Stoica 主持。Stoica 同時也是 Inferact 的創始成員。其餘創始團隊包括執行長 Simon Mo,以及 Woosuk Kwon、Kaichao You 和 Roger Wang。

2025年5月,vLLM 成為 PyTorch Foundation 專案。基金會治理使路線圖保持供應商中立——這個細節在商業上至關重要,因為採用者可以在不依賴任何單一供應商的情況下標準化使用 vLLM。Inferact 於2025年稍晚成立,明確目標是在保持開源模式完整的前提下,將 vLLM 商業化並擴大規模。

截至2026年10月,Inferact 持續向上游貢獻 vLLM,包括針對 NVIDIA Vera Rubin 硬體的早期最佳化工作。這項努力已在特定模型上實現最高7.8倍的吞吐量提升。

這對 AI 基礎設施市場意味著什麼

開源商業化的並不陌生。Databricks 圍繞另一個源自伯克利的專案 Apache Spark 建立了業務,而 Inferact 正在採取類似的策略——而且有一位創始成員曾經成功做過。

憑藉對200多種加速器的支援,vLLM 被定位為跨晶片供應商通用的層。大型雲端供應商本身已經在執行 vLLM,他們資金雄厚,並擁有自己的託管 AI 服務。Inferact 宣稱的優勢是專業知識:最了解這個程式碼庫的人,現在齊聚在同一個屋簷下。

接下來的發展取決於實際問題:新資金是否能加速像 Vera Rubin 最佳化這樣的上游工作、公司如何為客戶本可自行託管的軟體的服務定價,以及已經執行 vLLM 的雲端巨頭會向其維護者購買,還是繼續自建託管替代方案。這些動態,而非頭條估值,將決定 Databricks 的模式能否複製到推理領域。