L'action Super Micro Computer (SMCI) a plongé de 10,03 % à 26,63 $, soit une baisse de 2,97 $, dans un contexte de forte pression vendeuse. Cette chute est survenue même alors que l'entreprise annonçait une nouvelle solution de stockage IA développée en collaboration avec IBM et NVIDIA, une technologie conçue pour accélérer l'inférence IA, améliorer l'efficacité des GPU et prendre en charge des charges de travail d'entreprise en pleine expansion.

Supermicro s'associe à IBM et NVIDIA pour une solution de stockage IA

Supermicro a présenté une nouvelle plateforme de stockage de cache KV combinant les technologies de trois grands fournisseurs d'infrastructure. Le système intègre les serveurs Supermicro Petascale tout flash, le logiciel IBM Storage Scale et NVIDIA Dynamo, et repose sur des processeurs AMD EPYC 9005 avec la mise en réseau NVIDIA Spectrum-X Ethernet.

Cette collaboration vise la demande croissante d'inférence IA plus rapide dans les applications d'entreprise et l'infrastructure cloud. Les systèmes IA modernes traitent des jeux de données plus vastes et des conversations plus longues, ce qui accroît la pression sur les ressources mémoire existantes, et les entreprises ont besoin de systèmes de stockage capables de gérer des charges de travail complexes sans réduire l'efficacité de traitement. Le déchargement du cache KV répond directement à cette contrainte : il déplace le contexte réutilisable du modèle depuis la mémoire GPU limitée vers un stockage flash partagé, transformant la capacité de cache en une ressource pouvant évoluer avec la demande.

Supermicro a conçu la plateforme pour étendre la capacité de cache KV au-delà de la mémoire GPU locale. Cette approche permet aux systèmes IA de réutiliser des informations déjà traitées au lieu de répéter les calculs. Le stockage partagé aide également les organisations à accroître leur capacité d'inférence tout en maintenant des performances applicatives constantes.

La technologie de cache KV offre une réponse au premier jeton jusqu'à 56 fois plus rapide

Supermicro et NVIDIA ont testé la technologie à l'aide d'un grand modèle de langage contenant 120 milliards de paramètres. Leurs tests ont enregistré un temps de réponse au premier jeton (time-to-first-token) jusqu'à 56 fois plus rapide avec des invites de 130 000 jetons, démontrant des améliorations substantielles lorsque le système réutilisait les informations en cache. Le time-to-first-token mesure l'attente avant qu'un modèle ne commence à produire une sortie, une latence qui augmente avec la longueur de l'invite lorsque le contexte n'est pas mis en cache.

Alors que la longueur des entrées passait de 30 000 à 130 000 jetons pendant les tests, le temps de préparation de la réponse n'a augmenté que de 0,377 seconde avec la mise en cache, contre 29,55 secondes sans mise en cache. Ces résultats ont mis en évidence les avantages potentiels de la technologie pour les applications traitant d'importantes quantités d'informations.

La plateforme prend également en charge une meilleure utilisation des GPU en réduisant les calculs inutiles et les délais de traitement. Son architecture partagée permet à plusieurs clusters de GPU d'accéder efficacement au contexte stocké, et les entreprises ont validé le système sous de lourdes charges de travail et dans des conditions de trafic réseau concurrent. Pour les opérateurs exécutant de nombreuses charges de travail d'inférence simultanées, cette combinaison lie directement l'architecture de stockage à la productivité des GPU et à la capacité de service.

Supermicro vise la croissance de l'infrastructure IA d'entreprise

L'annonce élargit le portefeuille d'infrastructure de Supermicro alors que les entreprises augmentent leurs dépenses en déploiement d'IA et en services d'inférence. Les applications d'entreprise s'appuient de plus en plus sur des assistants de code, des flux de travail automatisés et des systèmes traitant de longs documents, autant d'usages qui exigent une capacité de stockage fiable en complément de ressources de calcul puissantes.

Supermicro propose également des services d'intégration de racks en usine et de déploiement pour la nouvelle plateforme. Selon l'entreprise, ces services peuvent réduire les délais de déploiement de semaines à jours. IBM apporte des capacités de gestion du stockage, tandis que NVIDIA fournit le logiciel d'inférence et la technologie de mise en réseau.

Le partenariat renforce la position de Supermicro dans l'infrastructure IA d'entreprise malgré la forte baisse de l'action. L'entreprise a indiqué que sa dernière solution répond aux enjeux d'efficacité de calcul, d'extensibilité du stockage et de fiabilité des systèmes dans les applications exigeantes. Cependant, l'annonce n'incluait aucune prévision financière ni contribution de revenus confirmée de la nouvelle plateforme, laissant l'adoption par les clients et la contribution commerciale de la plateforme à observer dans les futures publications de l'entreprise.

Source : Blockonomi