Nvidia стремится убрать неопределённость из запуска своего фреймворка инференса Dynamo на Kubernetes — платформе оркестрации контейнеров, ставшей стандартным слоем для развёртывания облачного ПО, — с помощью инструмента, призванного сократить путь от конфигурации модели до работающей конечной точки инференса. Инструмент, названный NVIDIA AI Cluster Runtime (AICR), упаковывает Dynamo и его зависимости Kubernetes в проверенные рецепты, которые инженерные команды могут развернуть и затем верифицировать.

Как работает AICR

AICR применяет концепцию рецептов с фиксированными версиями к GPU-кластерам, закрепляя каждый компонент за конкретным релизом, совместимость которого с остальными подтверждена Nvidia. Этот подход решает постоянную операционную проблему: GPU-ускоренные кластеры Kubernetes содержат множество взаимозависимых частей. Драйверы должны соответствовать оборудованию, ресурсы должны распределяться корректно, а одна несовпадающая версия может остановить целое развёртывание.

Среда выполнения организует работу в последовательность рабочих процессов: снимок состояния, генерация рецепта, формирование пакета, развёртывание и валидация. Этап снимка фиксирует текущее состояние кластера, давая командам точную запись исходной точки до внесения каких-либо изменений. Генерация рецепта и формирование пакета превращают эту информацию в развёртываемый пакет, а валидация замыкает цикл, проверяя, что результат работает как задумано.

Nvidia сообщает, что AICR поддерживает множество облачных сервисов и ускорителей, подкрепляя это подписанными подтверждениями валидации. На практике команды получают криптографически подписанную запись, показывающую, что данная конфигурация была протестирована, а не просто обещание, что она, скорее всего, сработает.

Детали версий и оборудования

AICR достиг версии 1.0 в начале октября 2026 года, отметив свой первый стабильный релиз. Документация по развёртыванию Dynamo через эту среду появилась примерно 30–31 октября 2026 года.

Эта документация включает руководства для Elastic Kubernetes Service (EKS) от Amazon — управляемого предложения Kubernetes от Amazon Web Services — на GPU классов H100 и GB200. В примерах для EKS, построенных на GPU H100, Nvidia использует версию 1.4.2 Helm-чарта Dynamo Platform — Helm являясь менеджером пакетов для Kubernetes, где чарт объединяет шаблоны и настройки, необходимые для установки приложения.

Действует одно заметное требование: командам, желающим использовать Dynamic Resource Allocation (DRA), нужна версия Kubernetes 1.34 или новее. DRA — это функция Kubernetes для более гибкого выделения специализированного оборудования, такого как GPU. Кластеры на более старых релизах Kubernetes не могут использовать эту функцию до обновления.

Дополнительные руководства, опубликованные в октябре 2026 года, описывают быстрые старты для различных моделей и подчёркивают важность интеграции NVIDIA GPU Operator — компонента Nvidia для автоматизации настройки драйверов и ПО GPU внутри Kubernetes — и Dynamo Platform в рамках развёртывания Kubernetes.

Почему Dynamo нужна помощь

Dynamo — это open-source фреймворк Nvidia для распределённого инференса. Инференс — это этап ИИ, на котором обученная модель фактически отвечает на вопросы, генерирует текст или создаёт изображения для пользователей.

Фреймворк создан для распределённого (disaggregated) обслуживания. Вместо того чтобы одна машина выполняла все этапы ответа на запрос, работа разделяется и координируется между GPU-воркерами. Dynamo также предлагает маршрутизацию с учётом KV-кэша: KV-кэш выступает краткосрочной памятью модели о уже обработанном тексте, и маршрутизация запросов с учётом этой памяти позволяет избежать избыточной работы. В сочетании с многоузловой оркестрацией результатом становится система, способная распределить одну операцию обслуживания на множество машин.

Значение для команд, использующих ИИ в продакшене

Этапы снимка и валидации напрямую нацелены на дрейф конфигурации. Фиксация состояния кластера до развёртывания и проверка после дают командам журнал аудита, полезный для отладки и, потенциально, для внутренних проверок соответствия.

Подписанные подтверждения валидации работают в том же направлении. Организации, которым нужно доказать, что конфигурация была протестирована, а не просто заявить об этом, получают документацию, на которую можно сослаться.

Поддержка EKS с GPU классов H100 и GB200 даёт командам в облаке Amazon задокументированный путь, а более широкое заявление о мультиоблачной поддержке говорит о том, что Nvidia хочет, чтобы AICR работал везде, где арендуются её GPU, а не только в экосистеме одного провайдера.

Далее стоит следить за двумя факторами. Первый — как быстро требование Kubernetes 1.34 для DRA станет практическим препятствием, поскольку многие продакшен-кластеры отстают от последних релизов, а Kubernetes выпускает три минорные версии в год. Второй — широта охвата: полезность AICR растёт с числом проверенных Nvidia сочетаний облаков, ускорителей и моделей, поэтому темп появления новых рецептов после релиза 1.0 многое скажет о его жизнеспособности.

Disclosure: Оригинальный материал CryptoBriefing был отредактирован Диего Альмадой Лопесом (Diego Almada Lopez).