Nvidiaは、Kubernetes — クラウドソフトウェアの展開における標準レイヤーとなっているコンテナオーケストレーションプラットフォーム — 上で自社のDynamo推論フレームワークを実行する際の不確実性を取り除こうとしており、モデル構成から稼働する推論エンドポイントまでの道のりを短縮することを目的としたツールを用意している。この「NVIDIA AI Cluster Runtime（AICR）」と呼ばれるツールは、DynamoとそのKubernetes依存関係を、エンジニアリングチームが展開して検証できる検証済みレシピにまとめている。

AICRの仕組み

AICRはバージョン固定レシピの概念をGPUクラスタに適用し、すべてのコンポーネントを、Nvidiaが他のコンポーネントとの互換性を確認済みの特定リリースに固定する。このアプローチは、根強い運用上の課題に対応するものだ。GPUで高速化されたKubernetesクラスタには相互依存する多くの部品が含まれており、ドライバーはハードウェアと一致している必要があり、リソースは正しく割り当てられる必要があり、バージョンの不一致が1つあるだけで展開全体が停止し得る。

このランタイムは作業を一連のワークフローに整理する。スナップショット、レシピ生成、バンドルレンダリング、デプロイ、そして検証だ。スナップショットのステップではクラスタの現在の状態を取得し、変更を加える前の正確な開始時点の記録をチームに提供する。その後、レシピ生成とバンドルレンダリングがその情報をデプロイ可能なパッケージに変換し、検証が結果が意図どおりに動作することを確認して一連の流れを閉じる。

Nvidiaによると、AICRは署名付き検証エビデンスに裏付けられた複数のクラウドサービスとアクセラレータをサポートしている。実際のところ、チームは特定の構成がテスト済みであることを示す暗号学的に署名された記録を受け取るのであり、「おそらく動作する」という約束だけではない。

バージョンとハードウェアの詳細

AICRは2026年10月初旬にバージョン1.0に到達し、初の安定版リリースとなった。このランタイムを通じたDynamoの展開に関するドキュメントは、2026年10月30日〜31日頃に続いて公開された。

そのドキュメントには、H100およびGB200クラスGPU上で動作するAmazonのElastic Kubernetes Service（EKS）— Amazon Web ServicesのマネージドKubernetesオファリング — に関するガイダンスが含まれている。H100 GPUをベースにしたEKSの例では、NvidiaはDynamo Platform Helmチャートのバージョン1.4.2を使用している。HelmはKubernetesのパッケージマネージャーであり、チャートにはアプリケーションのインストールに必要なテンプレートと設定がまとめられている。

1つの重要な要件がある。Dynamic Resource Allocation（DRA）を使用したいチームは、Kubernetesバージョン1.34以降が必要だ。DRAは、GPUなどの特殊なハードウェアをより柔軟に割り当てるためのKubernetesの機能であり、古いKubernetesリリースを実行しているクラスタは、アップグレードするまでこの機能を利用できない。

2026年10月に公開された追加のガイドでは、さまざまなモデル向けのクイックスタートを紹介し、Kubernetesデプロイの一部としてNVIDIA GPU Operator — Kubernetes内でGPUドライバーとソフトウェアのセットアップを自動化するNvidiaのコンポーネント — とDynamo Platformを統合することの重要性を強調している。

Dynamoにこの支援が必要な理由

DynamoはNvidiaの分散推論向けオープンソースフレームワークだ。推論とは、訓練済みモデルが実際に質問に答え、テキストを生成し、ユーザー向けに画像を生成するAIの段階である。

このフレームワークは disaggregated serving（分離型サービング）向けに構築されている。1台のマシンがリクエストへの回答のすべてのステップを処理するのではなく、作業が分割され、GPUワーカー間で調整される。DynamoはさらにKVキャッシュ対応ルーティングも提供している。KVキャッシュは、モデルがすでに処理したテキストの短期記憶のようなものであり、その記憶を考慮してリクエストをルーティングすることで、重複した作業を回避できる。マルチノードオーケストレーションと組み合わせることで、1つのサービング操作を多くのマシンに分散できるシステムが実現する。

本番環境でAIを実行するチームへの影響

スナップショットと検証のステップは、構成ドリフトに直接対処するものだ。デプロイ前にクラスタの状態を取得し、その後に確認することで、チームは監査証跡を得られる。これはデバッグや、場合によっては社内コンプライアンスレビューにも有用だ。

署名付き検証エビデンスも同じ方向を後押しする。構成がテストされたことを単に主張するのではなく証明する必要がある組織は、根拠として示せるドキュメントを手にする。

H100およびGB200クラスGPUでのEKSサポートにより、Amazonのクラウドを利用するチームには文書化された道筋が与えられる。一方、Nvidiaによるマルチクラウドサポートというより幅広い主張は、同社がAICRを、1つのプロバイダーのエコシステムに限らず、自社のGPUがレンタルされるあらゆる場所で動作させたいと考えていることを示唆している。

今後注目すべき要素は2つある。1つ目は、DRAに対するKubernetes 1.34要件がどの程度早く実質的な障害になるかだ。多くの本番クラスタは最新リリースに遅れており、Kubernetesは年に3つのマイナーバージョンをリリースする。2つ目は幅広さだ。AICRの有用性は、Nvidiaが検証するクラウド、アクセラレータ、モデルの組み合わせの数に比例して拡大するため、1.0リリース後の新規レシピのペースは、その持続力を大きく物語ることになる。

免責事項：元のCryptoBriefingの記事はDiego Almada Lopezにより編集されました。