Nvidia will die Unsicherheit beim Betrieb seines Dynamo-Inferenz-Frameworks auf Kubernetes — der Container-Orchestrierungsplattform, die sich als Standard-Ebene für den Einsatz von Cloud-Software etabliert hat — beseitigen, mit einem Tool, das den Weg von einer Modellkonfiguration zu einem funktionierenden Inferenz-Endpunkt verkürzen soll. Das Tool namens NVIDIA AI Cluster Runtime (AICR) bündelt Dynamo und seine Kubernetes-Abhängigkeiten in getesteten Rezepten, die Engineering-Teams deployen und anschließend verifizieren können.

Wie AICR funktioniert

AICR überträgt das Konzept versionsgebundener Rezepte auf GPU-Cluster und fixiert jede Komponente auf eine spezifische Release-Version, die Nvidia als kompatibel mit den anderen bestätigt hat. Dieser Ansatz adressiert eine hartnäckige betriebliche Herausforderung: GPU-beschleunigte Kubernetes-Cluster enthalten viele voneinander abhängige Teile. Treiber müssen zur zugrunde liegenden Hardware passen, Ressourcen müssen korrekt zugewiesen werden, und bereits eine einzige falsche Version kann ein gesamtes Deployment blockieren.

Die Runtime organisiert die Arbeit in eine Abfolge von Workflows: Snapshot, Rezeptgenerierung, Bundle-Rendering, Deployment und Validierung. Der Snapshot-Schritt erfasst den aktuellen Zustand eines Clusters und verschafft den Teams eine präzise Aufzeichnung ihres Ausgangspunkts, bevor Änderungen vorgenommen werden. Rezeptgenerierung und Bundle-Rendering verwandeln diese Informationen anschließend in ein deploybares Paket, während die Validierung den Kreis schließt, indem sie prüft, ob das Ergebnis wie beabsichtigt funktioniert.

Laut Nvidia unterstützt AICR mehrere Cloud-Dienste und Beschleuniger, gestützt durch signierte Validierungsnachweise. Praktisch bedeutet das: Teams erhalten einen kryptografisch signierten Nachweis, dass eine bestimmte Konfiguration getestet wurde, statt nur dem Versprechen, dass sie wahrscheinlich funktioniert.

Details zu Versionen und Hardware

AICR erreichte Anfang Oktober 2026 die Version 1.0, was die erste stabile Veröffentlichung markiert. Die Dokumentation zum Deployment von Dynamo über die Runtime folgte rund um den 30. bis 31. Oktober 2026.

Diese Dokumentation enthält Anleitungen für Amazons Elastic Kubernetes Service (EKS), das verwaltete Kubernetes-Angebot von Amazon Web Services, auf H100- und GPUs der GB200-Klasse. In den auf H100-GPUs aufgebauten EKS-Beispielen verwendet Nvidia Version 1.4.2 des Dynamo Platform Helm Charts — Helm ist der Paketmanager für Kubernetes, wobei ein Chart die Vorlagen und Einstellungen bündelt, die zur Installation einer Anwendung benötigt werden.

Eine nennenswerte Anforderung gilt: Teams, die Dynamic Resource Allocation (DRA) nutzen möchten, benötigen Kubernetes Version 1.34 oder höher. DRA ist eine Kubernetes-Funktion zur flexibleren Zuweisung spezialisierter Hardware wie GPUs. Cluster mit älteren Kubernetes-Versionen können die Funktion erst nach einem Upgrade nutzen.

Zusätzliche Anleitungen, die im Oktober 2026 veröffentlicht wurden, führen durch Quickstarts für verschiedene Modelle und betonen die Bedeutung der Integration des NVIDIA GPU Operators — Nvidias Komponente zur Automatisierung von GPU-Treiber- und Software-Setup innerhalb von Kubernetes — und der Dynamo Platform als Teil eines Kubernetes-Deployments.

Warum Dynamo Hilfe braucht

Dynamo ist Nvidias Open-Source-Framework für verteilte Inferenz. Inferenz ist die Phase der KI, in der ein trainiertes Modell tatsächlich Fragen beantwortet, Texte generiert oder Bilder für Nutzer erzeugt.

Das Framework ist für disaggregated serving konzipiert. Statt dass ein einzelner Rechner jeden Schritt der Beantwortung einer Anfrage übernimmt, wird die Arbeit auf GPU-Worker aufgeteilt und koordiniert. Dynamo bietet außerdem KV-Cache-bewusstes Routing: Der KV-Cache fungiert als Kurzzeitgedächtnis eines Modells für bereits verarbeitete Texte, und das Routing von Anfragen unter Berücksichtigung dieses Gedächtnisses vermeidet redundante Arbeit. In Kombination mit Multi-Node-Orchestrierung entsteht ein System, das einen einzelnen Serving-Vorgang auf viele Maschinen verteilen kann.

Bedeutung für KI-Teams in der Produktion

Die Snapshot- und Validierungsschritte zielen direkt auf Konfigurationsdrift ab. Die Erfassung des Cluster-Zustands vor dem Deployment und die anschließende Prüfung verschafft den Teams einen Audit-Trail, der beim Debugging und potenziell bei internen Compliance-Prüfungen nützlich ist.

Die signierten Validierungsnachweise gehen in dieselbe Richtung. Organisationen, die nachweisen müssen, dass eine Konfiguration getestet wurde, statt dies nur zu behaupten, erhalten eine Dokumentation, auf die sie verweisen können.

Die Unterstützung von EKS mit H100- und GPUs der GB200-Klasse gibt Teams in Amazons Cloud einen dokumentierten Weg, während Nvidias breiteres Anspruch einer Multi-Cloud-Unterstützung darauf hindeutet, dass AICR überall dort funktionieren soll, wo seine GPUs gemietet werden — nicht nur im Ökosystem eines einzelnen Anbieters.

Zwei Faktoren sind von hier an beobachtenswert. Der erste ist, wie schnell die Kubernetes-1.34-Anforderung für DRA zu einer praktischen Hürde wird, da viele Produktionscluster hinter den neuesten Versionen zurückliegen und Kubernetes drei Minor-Versionen pro Jahr ausliefert. Der zweite ist die Breite: Der Nutzen von AICR skaliert mit der Anzahl der von Nvidia validierten Kombinationen aus Cloud, Beschleuniger und Modell, daher wird das Tempo neuer Rezepte nach der 1.0-Veröffentlichung viel über seine Beständigkeit aussagen.

Hinweis: Der ursprüngliche CryptoBriefing-Bericht wurde von Diego Almada Lopez redigiert.