Nvidia 正致力於消除在 Kubernetes 上執行其 Dynamo 推論框架的不確定性——Kubernetes 是已成為雲端軟體部署標準層的容器編排平台——所憑藉的工具旨在縮短從模型組態到可運作推論端點的路徑。這套名為 NVIDIA AI Cluster Runtime（AICR）的工具，將 Dynamo 與其 Kubernetes 相依套件打包成工程團隊可以部署並隨後驗證的測試配方。

AICR 的運作方式

AICR 將版本鎖定配方的概念應用於 GPU 叢集，將每個元件固定在 Nvidia 已確認可與其他元件相容的特定版本。這種做法解決了一個長期存在的營運挑戰：GPU 加速的 Kubernetes 叢集包含許多相互依賴的部分。驅動程式必須符合底層硬體、資源必須正確分配，而單一版本不相符就可能使整個部署停擺。

此執行環境將工作組織成一系列工作流程：快照、配方產生、套件渲染、部署與驗證。快照步驟會擷取叢集的當前狀態，讓團隊在進行任何變更之前精確記錄起始狀態。配方產生與套件渲染隨後將該資訊轉換為可部署的套件，而驗證則透過檢查結果是否如預期運作來完成整個流程。

Nvidia 表示，AICR 支援多種雲端服務與加速器，並有簽署過的驗證證據作為後盾。實際上，團隊會收到一份經加密簽署的紀錄，顯示特定組態已經過測試，而不僅僅是「它應該可以運作」的承諾。

版本與硬體細節

AICR 於 2026 年 10 月初達到 1.0 版，標誌著其首個穩定版本。透過該執行環境部署 Dynamo 的文件則於 2026 年 10 月 30 日至 31 日左右發布。

該文件包含在 H100 與 GB200 級 GPU 上執行 Amazon 彈性 Kubernetes 服務（EKS）——Amazon Web Services 的託管 Kubernetes 服務——的指南。在圍繞 H100 GPU 建構的 EKS 範例中，Nvidia 使用 Dynamo Platform Helm chart 1.4.2 版——Helm 是 Kubernetes 的套件管理器，chart 則封裝了安裝應用程式所需的範本與設定。

有一項值得注意的需求：想要使用 Dynamic Resource Allocation（DRA）的團隊需要 Kubernetes 1.34 或更新版本。DRA 是 Kubernetes 的一項功能，用於更靈活地分配 GPU 等專用硬體。執行較舊 Kubernetes 版本的叢集在升級之前無法使用該功能。

2026 年 10 月發布的其他指南也介紹了各種模型的快速入門，並強調將 NVIDIA GPU Operator——Nvidia 用於在 Kubernetes 內自動化 GPU 驅動程式與軟體設定的元件——以及 Dynamo Platform 整合為 Kubernetes 部署一部分的重要性。

為什麼 Dynamo 需要這套工具

Dynamo 是 Nvidia 的開源分散式推論框架。推論是 AI 中訓練完成的模型實際回答問題、產生文字或為使用者生成圖像的階段。

該框架專為 disaggregated serving 而設計。回應請求的各個步驟並非由一台機器完成，而是拆分並協調到多個 GPU 工作節點上。Dynamo 還提供 KV-cache 感知路由：KV 快取本質上是模型對已處理文字的短期記憶，在路由請求時考慮這份記憶可以避免重複工作。結合多節點編排，最終形成一套能將單一服務操作分散到多台機器上的系統。

對生產環境 AI 團隊的意義

快照與驗證步驟直接針對組態漂移問題。在部署前擷取叢集狀態並在部署後進行檢查，為團隊提供了稽核軌跡，這對除錯以及潛在的內部合規審查都很有用。

簽署過的驗證證據也朝同一方向推進。需要證明某個組態已經過測試而非僅僅口頭聲明的組織，可以獲得可作為依據的文件。

對搭載 H100 與 GB200 級 GPU 的 EKS 的支援，為 Amazon 雲端上的團隊提供了一條有文件依據的路徑，而 Nvidia 更廣泛的多雲端支援聲明則顯示，它希望 AICR 能在其 GPU 被租用的任何地方運作，而不僅限於單一供應商的生態系統。

接下來有兩個因素值得關注。首先是 DRA 對 Kubernetes 1.34 的需求會多快成為實際障礙，因為許多生產叢集落後於最新版本，而 Kubernetes 每年發布三個次要版本。其次是廣度：AICR 的實用性取決於 Nvidia 驗證了多少雲端、加速器與模型組合，因此 1.0 版發布後新配方的推出速度，將充分說明其持久力。

披露：原始 CryptoBriefing 報導由 Diego Almada Lopez 編輯。