Акции Super Micro Computer (SMCI) упали на 10,03% до $26,63, потеряв $2,97, под сильным давлением продаж. Падение произошло даже несмотря на то, что компания объявила о новом решении для ИИ-хранения данных, разработанном в сотрудничестве с IBM и NVIDIA, — технологии, предназначенной для ускорения ИИ-инференса, повышения эффективности GPU и поддержки растущих корпоративных рабочих нагрузок.

Supermicro объединяется с IBM и NVIDIA для создания решения ИИ-хранения данных

Supermicro представила новую платформу KV-кэширования, объединяющую технологии трех крупнейших поставщиков инфраструктуры. Система интегрирует флеш-серверы Supermicro Petascale, программное обеспечение IBM Storage Scale и NVIDIA Dynamo и построена на процессорах AMD EPYC 9005 с сетевым оборудованием NVIDIA Spectrum-X Ethernet.

Сотрудничество ориентировано на растущий спрос на более быстрый ИИ-инференс в корпоративных приложениях и облачной инфраструктуре. Современные ИИ-системы обрабатывают все большие наборы данных и более длинные диалоги, увеличивая нагрузку на существующие ресурсы памяти, и компаниям необходимы системы хранения, способные справляться со сложными рабочими нагрузками без снижения эффективности обработки. Выгрузка KV-кэша напрямую решает это ограничение: она переносит повторно используемый контекст модели из ограниченной памяти GPU в общее флеш-хранилище, превращая объем кэша в ресурс, масштабируемый по мере спроса.

Supermicro разработала платформу для расширения емкости KV-кэша за пределы локальной памяти GPU. Такой подход позволяет ИИ-системам повторно использовать ранее обработанную информацию вместо повторных вычислений. Общее хранилище также помогает организациям наращивать мощность инференса, сохраняя стабильную производительность приложений.

Технология KV-кэша обеспечивает до 56 раз более быстрый отклик первого токена

Supermicro и NVIDIA протестировали технологию на большой языковой модели, содержащей 120 млрд параметров. В тестах была зафиксирована скорость выдачи первого токена (time-to-first-token) до 56 раз выше на промптах из 130 000 токенов, что демонстрирует существенные улучшения при повторном использовании кэшированной информации. Time-to-first-token измеряет задержку до начала выдачи результата моделью; этот показатель растет с длиной промпта, если контекст не кэшируется.

При увеличении длины входных данных в тестах с 30 000 до 130 000 токенов время подготовки ответа выросло лишь на 0,377 секунды при кэшировании — против 29,55 секунды без кэширования. Эти результаты подчеркнули потенциальные преимущества технологии для приложений, обрабатывающих большие объемы информации.

Платформа также поддерживает более высокую утилизацию GPU, сокращая избыточные вычисления и задержки обработки. Ее общая архитектура позволяет нескольким GPU-кластерам эффективно получать доступ к сохраненному контексту, и компании проверили систему под тяжелыми рабочими нагрузками и в условиях конкурирующего сетевого трафика. Для операторов, запускающих множество параллельных инференс-нагрузок, такое сочетание напрямую связывает архитектуру хранения с производительностью GPU и мощностью обслуживания.

Supermicro ориентируется на рост корпоративной ИИ-инфраструктуры

Анонс расширяет портфель инфраструктурных решений Supermicro на фоне роста расходов компаний на развертывание ИИ и услуги инференса. Корпоративные приложения все чаще используют помощники для написания кода, автоматизированные рабочие процессы и системы обработки длинных документов — все они требуют надежных емкостей хранения в сочетании с мощными вычислительными ресурсами.

Supermicro также предлагает заводскую стоечную интеграцию и услуги развертывания для новой платформы. По словам компании, эти услуги могут сократить сроки развертывания с недель до дней. IBM предоставляет возможности управления хранением данных, а NVIDIA — программное обеспечение для инференса и сетевые технологии.

Партнерство укрепляет позиции Supermicro в корпоративной ИИ-инфраструктуре, несмотря на резкое падение акций. Компания заявила, что ее новейшее решение решает вопросы эффективности вычислений, масштабируемости хранения и надежности систем в требовательных приложениях. Однако в анонсе не содержалось финансовых прогнозов или подтвержденных вкладов в выручку от новой платформы, и клиентское принятие, и коммерческий вклад платформы останутся предметом наблюдения в будущих корпоративных раскрытиях.

Источник: Blockonomi