Nvidia pracuje nad wyeliminowaniem niepewności związanej z uruchamianiem frameworka inferencji Dynamo na Kubernetes — platformie orkiestracji kontenerów, która stała się standardową warstwą wdrażania oprogramowania w chmurze — przy pomocy narzędzia zaprojektowanego, aby skrócić drogę od konfiguracji modelu do działającego punktu końcowego inferencji. Narzędzie o nazwie NVIDIA AI Cluster Runtime (AICR) pakuje Dynamo i jego zależności Kubernetes w przetestowane przepisy, które zespoły inżynierskie mogą wdrożyć, a następnie zweryfikować.

Jak działa AICR

AICR przenosi koncepcję przepisów powiązanych z konkretnymi wersjami na klastry GPU, przypinając każdy komponent do konkretnego wydania, którego współdziałanie z pozostałymi Nvidia potwierdziła. Podejście to odpowiada na trwały problem operacyjny: klastry Kubernetes przyspieszane przez GPU zawierają wiele od siebie zależnych elementów. Sterowniki muszą pasować do sprzętu, zasoby muszą być poprawnie przydzielone, a jedna niezgodna wersja może zablokować całe wdrożenie.

Runtime organizuje pracę w sekwencję procesów: migawka (snapshot), generowanie przepisu, renderowanie pakietu, wdrożenie i walidacja. Krok migawki rejestruje bieżący stan klastra, dając zespołom dokładny zapis punktu wyjścia przed wprowadzeniem jakichkolwiek zmian. Generowanie przepisu i renderowanie pakietu przekształcają następnie te informacje w pakiet gotowy do wdrożenia, a walidacja zamyka cykl, sprawdzając, czy wynik działa zgodnie z przeznaczeniem.

Nvidia deklaruje, że AICR obsługuje wiele usług chmurowych i akceleratorów, co potwierdzają podpisane dowody walidacji. W praktyce zespoły otrzymują kryptograficznie podpisany zapis potwierdzający, że dana konfiguracja została przetestowana, a nie tylko obietnicę, że prawdopodobnie zadziała.

Szczegóły dotyczące wersji i sprzętu

AICR osiągnął wersję 1.0 na początku października 2026 r., co oznacza jego pierwsze stabilne wydanie. Dokumentacja dotycząca wdrażania Dynamo poprzez runtime ukazała się około 30–31 października 2026 r.

Dokumentacja ta obejmuje wytyczne dla Amazon Elastic Kubernetes Service (EKS), zarządzanej usługi Kubernetes od Amazon Web Services, działającej na GPU klasy H100 i GB200. W przykładach EKS opartych na GPU H100 Nvidia wykorzystuje wersję 1.4.2 wykresu Helm Dynamo Platform — Helm to menedżer pakietów dla Kubernetes, w którym wykres zawiera szablony i ustawienia potrzebne do zainstalowania aplikacji.

Obowiązuje jeden istotny wymóg: zespoły, które chcą korzystać z Dynamic Resource Allocation (DRA), potrzebują Kubernetes w wersji 1.34 lub nowszej. DRA to funkcja Kubernetes umożliwiająca bardziej elastyczne przydzielanie specjalistycznego sprzętu, takiego jak GPU. Klastry działające na starszych wydaniach Kubernetes nie mogą korzystać z tej funkcji do czasu aktualizacji.

Dodatkowe przewodniki opublikowane w październiku 2026 r. przeprowadzają przez szybki start różnych modeli i podkreślają znaczenie integracji NVIDIA GPU Operator — komponentu Nvidia automatyzującego konfigurację sterowników i oprogramowania GPU wewnątrz Kubernetes — oraz Dynamo Platform jako części wdrożenia Kubernetes.

Dlaczego Dynamo potrzebuje wsparcia

Dynamo to otwartoźródłowy framework Nvidia do rozproszonej inferencji. Inferencja to etap AI, w którym wytrenowany model faktycznie odpowiada na pytania, generuje tekst lub tworzy obrazy dla użytkowników.

Framework został zbudowany z myślą o disaggregated serving. Zamiast jednej maszyny obsługującej każdy etap odpowiedzi na żądanie, praca jest dzielona i koordynowana pomiędzy węzłami GPU. Dynamo oferuje również routing uwzględniający KV-cache: cache KV pełni rolę krótkoterminowej pamięci modelu o przetworzonym już tekście, a kierowanie żądań z uwzględnieniem tej pamięci pozwala uniknąć zbędnej pracy. W połączeniu z orkiestracją wielowęzłową daje to system zdolny do rozłożenia jednej operacji serwowania na wiele maszyn.

Znaczenie dla zespołów prowadzących AI w produkcji

Kroki migawki i walidacji celują bezpośrednio w dryf konfiguracji. Rejestrowanie stanu klastra przed wdrożeniem i sprawdzanie go po wdrożeniu daje zespołom ślad audytowy, przydatny przy debugowaniu i potencjalnie przy wewnętrznych przeglądach zgodności.

Podpisane dowody walidacji zmierzają w tym samym kierunku. Organizacje, które muszą udowodnić, że konfiguracja została przetestowana, a jedynie to twierdzić, zyskują dokumentację, na którą mogą się powołać.

Obsługa EKS z GPU klasy H100 i GB200 daje zespołom w chmurze Amazon udokumentowaną ścieżkę, natomiast szersza deklaracja obsługi wielu chmur sugeruje, że Nvidia chce, aby AICR działał wszędzie tam, gdzie wynajmowane są jej GPU, a nie tylko w ekosystemie jednego dostawcy.

Warto obserwować dwa czynniki. Pierwszym jest to, jak szybko wymóg Kubernetes 1.34 dla DRA stanie się praktyczną przeszkodą, ponieważ wiele klastrów produkcyjnych odstaje od najnowszych wydań, a Kubernetes wydaje trzy wersje pomocnicze rocznie. Drugim jest szerokość: użyteczność AICR rośnie wraz z liczbą zwalidowanych przez Nvidia kombinacji chmur, akceleratorów i modeli, więc tempo publikowania nowych przepisów po wydaniu 1.0 wiele powie o jego trwałości.

Zastrzeżenie: Oryginalny raport CryptoBriefing zredagował Diego Almada Lopez.