VentureBeat 調查:企業擴大 AI 基礎設施的速度快於衡量成本的能力
重點速覽
- •受訪企業中只有 21% 大規模將 AI 用於生產,但 45% 計畫在未來一年評估 AI 專用雲,儘管今日幾乎沒有企業使用這類服務。
- •64% 的企業打算在 12 個月內更換或新增基礎設施供應商,其中 38% 計畫在下一季度內行動。
- •營運 GPU 的企業中,83% 回報使用率在 50% 或以下,只有 12% 超過半數使用率。
- •與既有系統整合是最高採購標準,占 41%,其次是總持有成本,占 35%;每百萬 token 成本僅對 8% 的買方重要。
- •不到一半企業,即 44%,會嚴格追蹤其 AI 運算的成本與回報,儘管總持有成本是其第二高的採購優先事項。

在 107 家企業中,AI 基礎設施支出的成長速度,正超過組織理解與管理其經濟性的能力。多數公司目前在熟悉的基礎上執行 AI:超大規模雲端平台與模型供應商 API。然而,它們下一步的支出重點正轉向今日幾乎尚未使用的專用運算服務。多數企業預期會在未來一年更換或新增基礎設施供應商,其中許多計畫在一個季度內採取行動。
採購決策受表面 token 定價影響較小,更多取決於與既有系統的整合,以及總持有成本。這一點值得注意,因為多數企業仍缺乏對單位經濟性的清楚可見度。GPU 經常以一半或更低的使用率運作,且不到一半受訪者會嚴格追蹤其 AI 運算實際成本。根據本輪 VentureBeat Pulse Research,結果是一道正在擴大的運算落差:快速且龐大的基礎設施投資,走在控制它所需的衡量系統之前。這種模式呼應了早期雲端採用週期中支出超前財務治理的情況,但 AI 運算加劇了壓力,因為 GPU 容量遠比傳統雲端資源昂貴,而且需求一直受到供給限制。
這項研究檢視企業 AI 基礎設施與運算,包括組織在 AI 部署旅程中的位置、目前使用哪些供應商與平台、滿意度如何、什麼因素會促使它們更換供應商、它們計畫在哪些領域評估新投資,以及它們能在多大程度上衡量並管理 AI 系統底層運算層的經濟性。
核心發現是,企業投入 AI 基礎設施的積極程度,與它們能看見其經濟性的程度之間存在落差。只有約五分之一受訪者,即 21%,表示其 AI 已大規模投入生產。即便如此,支出計畫已超前於這種成熟度:企業未來一年最常提及的評估領域是 AI 專用雲,占 45%,儘管這一層今日幾乎未被這些企業使用。與此同時,既有運算容量並未充分利用:83% 回報 GPU 使用率為 50% 或以下,而只有 44% 能嚴格追蹤 AI 運算成本。企業取得更多基礎設施的速度,已快於它們盤點既有資產的能力。
供應商關係也尚未穩定。明顯多數,即 64%,計畫在 12 個月內更換或新增基礎設施供應商,其中包括 38% 會在下一季度內行動。對運算這類基礎性類別而言,這代表異常高的預期流動率。企業選擇供應商時,主要標準是與既有技術堆疊整合,占 41%,以及總持有成本,占 35%。每百萬 token 成本僅對 8% 的買方構成決定因素。與此同時,可能影響下一波基礎設施選擇的技術限制——隨著推論擴展,瓶頸從 GPU 運算轉向記憶體頻寬——仍未進入許多企業的規劃視野,約五分之一企業不是尚未意識到,就是尚未開始處理。
方法論
VentureBeat 將這項調查作為其持續進行的 Pulse Research 系列之一。本輪聚焦於企業 AI 基礎設施、運算與推論經濟性。回覆篩選至員工超過 100 人的組織,留下 n=107。最小規模區間,即 1–100 名員工的公司,被排除在外。回覆來自 2026 年 Q2 單一波次,於 6 月進行。
由於研究結果基於單一波次,而非合併多個月份的樣本,報告應以橫斷面方式解讀,並不推論逐月趨勢。部分問題允許多選,因此某些比例加總可能超過 100%。
按組織規模來看,樣本集中於中型市場。101–250 名員工的公司占 36%,其次是 251–1,000 名員工占 27%,1,001–5,000 名員工占 22%,5,001–10,000 名員工占 8%,10,001 名或以上員工占 7%。按角色來看,受訪者包括經理占 38%、個人貢獻者占 28%、副總裁與總監占 19%,以及 C-suite 高階主管占 13%。樣本具備可信的採購權限:45% 是最終決策者,另有 30% 是 AI 解決方案的推薦者或影響者。
Technology/Software 是最大代表產業,占 26%,其次是 Healthcare/Life Sciences 占 15%、Financial Services 占 13%,以及 Retail/E-commerce 占 12%。
在 107 名受訪者的規模下,樣本足以提供方向性洞察,但應視為方向性訊號,而非精確衡量。它是自選樣本,並非機率樣本。樣本也偏向中型市場組織與較早期採用者。因此,結果最適合解讀為正在積極建置 AI 基礎設施的組織觀點,而非最大型超大規模雲端營運商的觀點。
發現 1:企圖心領先於生產成熟度
只有五分之一企業大規模將 AI 用於生產。
VentureBeat 詢問組織在 AI 部署旅程中所處的位置。多數仍在朝生產環境建置,而非已大規模運作 AI。
成熟度曲線高度偏向早期階段。四分之三企業,即 76%,不是仍在實驗,就是只有部分工作負載在生產環境中執行。只有 21% 表示 AI 已大規模投入生產。這一背景對其餘發現很重要:調查所反映的許多基礎設施決策,是由仍處於部署早期的組織做出,而它們的運算足跡與成本很可能即將成長。發現 3 與發現 4 中討論的評估與更換意圖,代表的是這一擴建的前端,而不是已經確定何者有效的營運者之穩定偏好。
發現 2:企業目前依賴超大規模雲端業者與模型 API
專用 GPU 雲目前存在感很低。
VentureBeat 詢問企業目前使用哪些供應商與平台來執行 AI。答案主要是既有雲端與模型生態系。
目前的技術堆疊以超大規模雲端與 API 為核心。Google Cloud 以 48% 領先。通用雲端——Google、Microsoft、AWS 與 Oracle——加上 Gemini、OpenAI 與 Anthropic 等主要模型 API,基本上涵蓋了所有當前部署。經常出現在 AI 基礎設施討論中的專用「neocloud」GPU 供應商,包括 CoreWeave、Lambda、Crusoe、Nebius 與同業,在這些企業中的採用率今日接近或等於零。這些供應商建置 GPU 密集資料中心,專為 AI 訓練與推論設計,通常提供對高需求加速器的保證存取,而這些加速器在通用雲上可能很難預留——這一主張已吸引數十億資本投入該類別。即便如此,在這一企業群體中的採用仍尚未成形。只有 6% 執行自己的內部 GPU 叢集,4% 使用自訂開源技術堆疊。
目前,企業正在它們已經採購的供應商上執行 AI。這讓發現 3 中的評估意圖更具意義。
關於解讀這些比例的一點說明:如方法論所述,樣本為自選,且偏向中型市場。供應商問題計入每位受訪者使用的所有供應商,平均每人選擇 2.1 項。因此,這些數字衡量的是技術堆疊中的存在,而非支出占比或主要供應商地位。以這種方式構成的樣本,會產生不同於以支出加權的整體市場普查之供應商組合。例如,Google 在此樣本中的強勢,與其在以 AI 建置為主的小型企業中長期存在的地位一致。這些比例應被視為這一活躍 AI 群體今日使用情況的快照,而這些數字與全產業市占估計之間的差距,應被視為樣本特性,而非彼此矛盾。
發現 3:新增支出指向企業今日幾乎未使用的基礎設施
AI 專用雲位居計畫評估清單首位。
VentureBeat 詢問企業未來 12 個月計畫在哪些領域評估 AI 基礎設施。答案指向它們目前營運技術堆疊之外的方向。
報告中最強烈的張力在於,AI 專用雲是最常被提及的計畫評估領域,占 45%,儘管如發現 2 所述,幾乎沒有這些企業今日使用該類別。近三分之一,即 32%,打算評估非 Nvidia 加速器,而 28% 計畫評估下一代 Nvidia 晶片。去中心化運算網路吸引 16% 的興趣,主權運算則吸引 11%。
與目前使用情況相比,這些計畫評估不只是漸進式變化。它們標誌著潛在平台重整的前沿。方向性問題也指向同一趨勢:每一種基礎設施方法都呈現淨擴張,但專用 AI 雲的淨動能最高,達 +24,略高於超大規模雲端的 +22。企業正準備將相當一部分 AI 運算移出通用雲端基礎設施。
這一模式延續了 VentureBeat 在 4–5 月調查波次中觀察到的趨勢。當時,AI 專用雲的使用同樣邊緣:CoreWeave 被 3% 的企業使用,Lambda 為 4%,Crusoe 為 2%。當企業被問及未來 12 個月計畫在 AI 基礎設施策略上做出何種改變時,最常見答案是將工作負載移至專用 AI 雲,占 33%。當 4–5 月受訪者被問及最可能評估哪一種新興運算選項時,AI 專用雲再次獲得最多回覆。跨越兩個波次與不同措辭的問題,同樣模式出現:企業最有興趣評估的雲端類別,正是它們才剛開始使用、甚至幾乎尚未使用的類別。
發現 4:許多企業預期會更換供應商
十分之六計畫在一年內更換或新增供應商,且許多預期在一個季度內行動。
VentureBeat 詢問企業是否以及何時計畫更換或新增基礎設施供應商。少數受訪者計畫維持不變。
對運算類別而言,預期變動幅度相當顯著。只有 36% 表示沒有改變計畫。這意味著 64% 打算在 12 個月內更換或新增供應商,且 38% 計畫僅在下一季度內這麼做。
吸引最多更換考量的供應商再次是既有業者。Microsoft Azure 與 Google Cloud 各占 33%,其後是 OpenAI 的 30% 與 Gemini 的 22%。這顯示近期多數變動可能是在主要供應商之間重新分配,並整合支出,而非直接轉向新進業者。發現 3 所描述的 neocloud 興趣主要是 12 個月的評估命題;下一季度預期的供應商變更,似乎多半是既有供應商之間的市占交換。
方法註記:同時選擇「沒有改變計畫」與特定更換時間窗口的受訪者,被計為更換者,理由是列出時間範圍是更具體的答案。根據此規則,三名受訪者被重新分類。
發現 5:Token 價格不是主要採購因素
整合與總持有成本的重要性高於標示價格。
VentureBeat 詢問企業選擇 AI 基礎設施供應商時最重視什麼。表面價格排名最後。
企業採購 AI 基礎設施時,並不是主要依據供應商通常最強調的定價指標。與既有技術堆疊整合以 41% 領先,其次是總持有成本的 35%。表面指標「每百萬 token 成本」只有 8% 將其視為決定因素,是所列標準中的最低結果。
這一模式一致:買方優化的是供應商如何融入其營運環境,以及實際運作成本,而非聚焦於宣傳的單位費率。單看 token 定價會掩蓋完整成本圖像,其中還包括網路、資料傳出、模型權重與訓練資料儲存、閒置容量開銷,以及整合與維護管線所需的工程投入。這也指向發現 7。企業表示總持有成本是核心決策因素,但多數尚無法嚴格衡量。它們宣稱的優先事項與實際衡量能力並不一致。
發現 6:昂貴的 GPU 經常未充分使用
83% 回報 GPU 使用率為 50% 或以下。
VentureBeat 詢問企業實際使用多少 GPU 容量。答案凸顯一項廣為人知但較少被量化的低效率。
揭露:區間百分比是將每項選擇都對照全部 107 名合格受訪者計算。十四名受訪者選擇了不只一個區間,因此區間有所重疊。在受訪者層級,100 家營運 GPU 的企業中有 83 家回報使用率在 50% 或以下。
已部署的運算正在低於容量水準運作。將半數或以下使用率的區間相加,83% 營運 GPU 的企業回報使用率為 50% 或以下。近一半,即 49%,運作在 25% 或以下。只有 12% 超過 50% 使用率,另有 8% 完全不衡量使用率。
閒置加速器是昂貴資產。在超大規模雲端平台上,按需存取單一高階 GPU,例如 Nvidia H100,每小時可能花費數美元;企業工作負載通常需要多 GPU 執行個體,進一步推高每小時成本。在這些價格水準下,容量長期低於 50% 使用率,會直接轉化為大量經常性浪費。這是運算落差最清楚的衡量之一:如發現 3 所示,企業計畫購買更多 GPU 與專用運算,但它們已經運作的容量仍大幅未使用。現有機群具有龐大的效率改善空間,且其中許多尚未被衡量。
發現 7:支出成長快於衡量
不到一半會嚴格追蹤運算成本。
VentureBeat 詢問企業能否量化 AI 基礎設施支出的成本與回報,以及它們對所使用基礎設施的滿意度。結果顯示,財務可見度落後於投資。
衡量落後於支出。不到一半企業,即 44%,會嚴格追蹤 AI 運算的成本與回報。其餘不是只做部分追蹤,占 39%,就是尚無法量化,占 20%,或尚未將其列為優先事項,占 6%。AI 運算成本分布在運算、記憶體、網路與資料傳出之間,其模式不同於傳統雲端工作負載;共享 GPU 叢集也讓支出難以歸因至個別團隊、專案或業務成果——這是一項雲端 FinOps 紀律仍在擴展涵蓋範圍的衡量挑戰。
這一落差很重要,因為總持有成本在發現 5 中是排名第二的採購標準。企業正在依據經濟性選擇供應商,但其中許多尚無法嚴格衡量這些經濟性。
對目前基礎設施的滿意度中等偏正面,但並不強烈。在五分制下,整體滿意度平均為 4.0。導入容易度平均為 3.8,性價比平均為 3.9。性價比較低的結果值得注意,因為若缺乏有紀律的衡量,成本很難評估。企業正在快速支出,卻緩慢記帳。
發現 8:許多企業尚未聚焦下一個推論瓶頸
隨著推論從運算轉向記憶體,回應呈現分散。
最後,VentureBeat 詢問企業將如何處理大規模推論中的新興限制:從 GPU 運算轉向記憶體,尤其是 KV-cache 容量。回覆顯示,對許多組織而言,這一前沿尚未成為主要營運優先事項。
記憶體限制是真實存在的,但相關治理有限。隨著生產模型支援 128,000 個 token 或更長的上下文視窗,用於儲存中間推論狀態的記憶體——KV cache——會隨著上下文長度與並發使用者數量增加而成長,產生額外原始 GPU 運算無法解決的壓力。當被問及在推論瓶頸從運算轉向記憶體頻寬時,會依賴哪一種方法時,企業給出了分散的答案。Dell 以 31% 領先,其次是 Nvidia 的 16%。其餘回覆分散於儲存供應商、開源工具與模型層級效率技術之間。
最值得注意的是,約五分之一企業,即 18%,不是不認識這項限制,就是尚未開始處理。對一項將影響推論成本與架構的轉變而言,市場仍處於早期且尚未穩定。與發現 7 中的衡量落差一致,許多企業尚未形成清晰看法。這是運算落差的下一階段,在許多組織解決當前問題之前就已到來。
結論:更快支出可能擴大而非縮小運算落差
員工超過 100 人的組織正在以快於衡量能力的速度投資 AI 基礎設施。多數仍處於部署早期,但其支出計畫已指向當前技術堆疊之外,轉向幾乎尚未使用的專用雲與替代加速器。明顯多數打算在未來一年更換供應商。
它們的採購邏輯聚焦於整合與總持有成本,而非表面價格,這是一種務實的方法。問題在於,許多企業尚無法清楚看見這些經濟性。
可見度落差是具體的。對絕大多數營運 GPU 的企業而言,使用率在半數容量或以下。不到一半能嚴格追蹤其 AI 運算的成本或回報。滿意度尚可但不熱烈,且在性價比方面最弱,而這正是缺乏衡量時最難判斷的面向。
與此同時,下一個限制——大規模推論中從運算轉向記憶體——正在出現,而許多企業仍未意識到,或尚未開始處理。成本可觀測性與 GPU 排程工具生態系正在成長,以處理衡量落差,但企業是否會在投入下一層基礎設施之前採用這些能力,仍是未解問題。在單一 Q2 波次的 107 名受訪者基礎上,這項調查提供的是方向性解讀。樣本偏向中型市場與較早期採用者。但方向一致:支出意願走在有效支出所需工具化能力之前。
運算落差不只是更多硬體可自行解決的容量問題。它首先是理解既有硬體實際成本的問題。後續調查波次將顯示,企業是否會在平台重整加速前建立這種可見度,或是在同樣有限的經濟性視野下購買下一層基礎設施。
這些發現基於 107 名合格企業受訪者的調查回覆,受訪者來自員工超過 100 人的組織,取自 2026 年 Q2 6 月的單一波次。由於這是單一波次,而非合併多個月份的樣本,結果屬於橫斷面,而非逐月趨勢。在 107 名受訪者的規模下,研究結果應被視為方向性訊號,而非精確衡量。樣本為自選,偏向中型市場,且較偏向早期採用者,而非最大型超大規模雲端營運商。受訪者包括經理、個人貢獻者、副總裁與總監,以及 C-suite 高階主管,並在 Technology/Software、Healthcare/Life Sciences、Financial Services、Retail/E-commerce 與其他產業中具備可信的採購權限。