Nvidia werkt aan het wegnemen van de onzekerheid rond het draaien van zijn Dynamo-inferentieframework op Kubernetes — het containerorkestratieplatform dat de standaardlaag is geworden voor het implementeren van cloudsoftware — met een tool die is ontworpen om de weg van een modelconfiguratie naar een werkend inferentie-eindpunt te verkorten. De tool, NVIDIA AI Cluster Runtime (AICR) genaamd, bundelt Dynamo en zijn Kubernetes-afhankelijkheden in geteste recepten die engineeringteams kunnen implementeren en vervolgens verifiëren.

Hoe AICR werkt

AICR past het concept van versielocked recepten toe op GPU-clusters, waarbij elk onderdeel wordt vastgepind op een specifieke release die Nvidia heeft bevestigd als compatibel met de andere onderdelen. Deze aanpak pakt een hardnekkige operationele uitdaging aan: GPU-versnelde Kubernetes-clusters bevatten veel onderling afhankelijke onderdelen. Drivers moeten overeenkomen met de onderliggende hardware, resources moeten correct worden toegewezen, en één verkeerd overeenkomende versie kan een volledige implementatie lamleggen.

De runtime organiseert het werk in een reeks workflows: snapshot, receptgeneratie, bundle-rendering, implementatie en validatie. De snapshot-stap legt de huidige status van een cluster vast, waardoor teams een precieze registratie hebben van hun uitgangspunt voordat er wijzigingen worden aangebracht. Receptgeneratie en bundle-rendering zetten die informatie vervolgens om in een implementeerbaar pakket, terwijl validatie de cirkel sluit door te controleren of het resultaat werkt zoals bedoeld.

Nvidia zegt dat AICR meerdere clouddiensten en accelerators ondersteunt, onderbouwd met ondertekende validatiebewijzen. In de praktijk ontvangen teams een cryptografisch ondertekende registratie waaruit blijkt dat een bepaalde configuratie is getest, in plaats van een belofte dat het waarschijnlijk zal werken.

Versie- en hardwaredetails

AICR bereikte versie 1.0 begin oktober 2026, wat de eerste stabiele release markeerde. Documentatie voor het implementeren van Dynamo via de runtime volgde rond 30 en 31 oktober 2026.

Die documentatie bevat richtlijnen voor Amazon's Elastic Kubernetes Service (EKS), de beheerde Kubernetes-oplossing van Amazon Web Services, draaiend op H100- en GB200-klasse GPU's. In de EKS-voorbeelden rond H100-GPU's gebruikt Nvidia versie 1.4.2 van de Dynamo Platform Helm chart — Helm zijnde de package manager voor Kubernetes, waarbij een chart de templates en instellingen bundelt die nodig zijn om een applicatie te installeren.

Er geldt één opmerkelijke vereiste: teams die Dynamic Resource Allocation (DRA) willen gebruiken, hebben Kubernetes versie 1.34 of nieuwer nodig. DRA is een Kubernetes-functie voor het flexibeler toewijzen van gespecialiseerde hardware zoals GPU's. Clusters die oudere Kubernetes-releases draaien, kunnen de functie pas gebruiken na een upgrade.

Aanvullende gidsen die in oktober 2026 zijn gepubliceerd, doorlopen quickstarts voor verschillende modellen en benadrukken het belang van het integreren van de NVIDIA GPU Operator — Nvidia's component voor het automatiseren van GPU-driver- en software-installatie binnen Kubernetes — en het Dynamo Platform als onderdeel van een Kubernetes-implementatie.

Waarom Dynamo de hulp nodig heeft

Dynamo is Nvidia's open-sourceframework voor gedistribueerde inferentie. Inferentie is de fase van AI waarin een getraind model daadwerkelijk vragen beantwoordt, tekst genereert of afbeeldingen produceert voor gebruikers.

Het framework is gebouwd voor gedisagnoreerde serving. In plaats van dat één machine elke stap van het beantwoorden van een verzoek afhandelt, wordt het werk opgesplitst en gecoördineerd over GPU-workers. Dynamo biedt ook KV-cache-bewuste routing: de KV-cache fungeert als het kortetermijngeheugen van een model voor tekst die het al heeft verwerkt, en het routeren van verzoeken met dat geheugen in gedachten voorkomt overbodig werk. In combinatie met multi-node-orkestratie is het resultaat een systeem dat één enkele serving-operatie over veel machines kan verdelen.

Implicaties voor AI-teams in productie

De snapshot- en validatiestappen richten zich direct op configuratiedrift. Het vastleggen van de clusterstatus vóór implementatie en het daarna controleren ervan geeft teams een auditspoor, wat nuttig is voor debugging en mogelijk voor interne compliance-review.

De ondertekende validatiebewijzen gaan in dezelfde richting. Organisaties die moeten aantonen dat een configuratie is getest, in plaats van dit alleen te beweren, krijgen documentatie waar ze naar kunnen verwijzen.

Ondersteuning voor EKS met H100- en GB200-klasse GPU's geeft teams op Amazon's cloud een gedocumenteerde route, terwijl Nvidia's bredere claim van multi-cloudondersteuning suggereert dat het bedrijf wil dat AICR werkt waar zijn GPU's ook worden verhuurd, niet alleen binnen het ecosysteem van één aanbieder.

Twee factoren zijn vanaf hier het volgen waard. De eerste is hoe snel de Kubernetes 1.34-vereiste voor DRA een praktische hobbel wordt, aangezien veel productieclusters achterlopen op de nieuwste releases, en Kubernetes drie minor-versies per jaar uitbrengt. De tweede is breedte: het nut van AICR schaalt mee met het aantal cloud-, accelerator- en modelcombinaties dat Nvidia valideert, dus het tempo van nieuwe recepten na de 1.0-release zal veel zeggen over de levensvatbaarheid ervan op de lange termijn.

Toelichting: het oorspronkelijke CryptoBriefing-rapport werd geredigeerd door Diego Almada Lopez.