OpenAI 已公布其首批 Jalapeño 基準測試結果。Jalapeño 是公司與 Broadcom 合作打造的內部推理晶片。

OpenAI 表示，這款晶片每瓦可完成更多 AI 工作，且回應速度比測試中用作對照的 Nvidia GB200 與 GB300 機架系統更快。

藉由 Jalapeño，OpenAI 加入其他大型 AI 業者的行列——包括使用 Tensor Processing Units 的 Google、使用 Trainium 晶片的 Amazon、使用 Maia 加速器的 Microsoft，以及使用 MTIA 的 Meta——在整個產業推理成本持續上升之際，自行設計 AI 矽晶片。

OpenAI 如何描述 Jalapeño 的表現

OpenAI 表示，Jalapeño 是透過 InferenceX 進行評估；這是 SemiAnalysis 推出的公開基準，用來衡量完整的 AI 請求服務流程。該晶片分別在 OpenAI 自家的 GPT-OSS 120B、DeepSeek 的 R1 670B，以及 Moonshot AI 的 Kimi K2.5 1T 上接受測試。

根據 OpenAI 的說法，Jalapeño 在相同電力單位下完成的工作量比基準中的其他系統多出 1.5 到 1.9 倍，回應速度也快了 1.7 到 3.6 倍。

對於需要更多來回互動的任務，OpenAI 表示優勢擴大到 2.1 到 4.1 倍。

OpenAI 硬體副總裁 Richard Ho 告訴記者，這款晶片能同時處理更多工作，反應也更快，而他表示大多數晶片無法同時做到這兩點。

對照目標是 Nvidia 的 GB200 與 GB300 superchips，這兩者在當時是 InferenceX 記錄中的最佳結果。對於測試中最大的模型 Kimi K2.5，OpenAI 表示 Jalapeño 的峰值每瓦效能約為 1.5 倍，延遲則低了 3.4 倍。

OpenAI 也表示，Jalapeño 沒有租賃市場、沒有 instance type，也沒有出售計畫。這與 Amazon、Google 等雲端供應商不同，後者會將自家的客製化晶片租給外部客戶。當被問及公司是否會向其他人提供這款晶片時，Ho 表示，OpenAI 為了自身需求「正苦於算力不夠」。

Ho 表示，OpenAI 有預算，也有機房空間，但目前受限於資料中心電力，而不是資金或實體容量，因此每兆瓦可產生的 token 數才是關鍵指標。電力供應已成為全產業資料中心建設的門檻因素，電網容量正愈來愈影響 AI 基礎設施的建置速度。由於推理在 ChatGPT 與 API 上持續運行，任何每個 token 所耗瓦數的降低，都會在 OpenAI 的規模下快速累積成效。

這款晶片的額定功率為 700 瓦，但 OpenAI 表示，在測試工作負載中其功耗被控制在 550 瓦或更低。

這款硬體也符合 OpenAI 在 2025 年 10 月與 Broadcom 達成的協議；該協議將在 2029 年前部署 10 gigawatts 的 OpenAI 設計加速器。Cryptopolitan 曾在該合作初步成形時進行報導。

OpenAI 是否會完全改用自家晶片？

在 Hot Chips 這場年度半導體工程會議上，Ho 表示 OpenAI 會以每組 128 顆晶片的機櫃方式部署 Jalapeño，而完整 pod 會使用 2,048 顆 ASIC。他說，一套 128 顆晶片的部署可提供 1.7 exaflops 的 4-bit 運算能力與 27.5 terabytes 的 HBM4，每個封裝提供 15.4 terabytes per second 的記憶體頻寬。

OpenAI 表示，公司使用自家模型加速 Jalapeno 的開發流程，從設計到 tape-out 只花了 9 個月。Ho 進一步表示，第二代版本已「深入開發中」，第三代也已展開。

然而，即使有這些基準測試成果，OpenAI 也不會全面替換其 GPU 叢集。Ho 將 Jalapeño 描述為整體算力策略中的一部分，而該策略仍仰賴 Nvidia 與 Cerebras 這些「非常、非常好的合作夥伴」。據報導，這款晶片將在 2026 年底前以小量部署，並在 2027 年逐步擴大。

值得注意的是，所有數據都來自 OpenAI；SemiAnalysis 雖然親自驗證了 InferenceX 的執行，但並未完整跑完全部測試，也未查看 AgentX 的結果。

如果你正在閱讀這篇報導，你已經領先一步。請透過我們的電子報持續保持領先。