Le azioni di Super Micro Computer (SMCI) sono crollate del 10,03% a 26,63 dollari, con una perdita di 2,97 dollari, sotto forte pressione di vendita. Il calo è arrivato nonostante la società abbia annunciato una nuova soluzione di storage per l'IA sviluppata in collaborazione con IBM e NVIDIA, una tecnologia progettata per accelerare l'inferenza IA, migliorare l'efficienza delle GPU e supportare carichi di lavoro enterprise in espansione.

Supermicro collabora con IBM e NVIDIA su una soluzione di storage per l'IA

Supermicro ha presentato una nuova piattaforma di storage KV cache che combina le tecnologie di tre grandi fornitori di infrastrutture. Il sistema integra i server all-flash Supermicro Petascale, il software IBM Storage Scale e NVIDIA Dynamo, ed è basato su processori AMD EPYC 9005 con rete NVIDIA Spectrum-X Ethernet.

La collaborazione punta alla crescente domanda di inferenza IA più rapida nelle applicazioni enterprise e nelle infrastrutture cloud. I moderni sistemi IA elaborano dataset più grandi e conversazioni più lunghe, aumentando la pressione sulle risorse di memoria esistenti, e le aziende necessitano di sistemi di storage capaci di gestire carichi di lavoro complessi senza ridurre l'efficienza di elaborazione. L'offloading della KV cache risponde direttamente a questo vincolo: sposta il contesto riutilizzabile del modello dalla memoria GPU limitata a uno storage flash condiviso, trasformando la capacità di cache in una risorsa che può scalare con la domanda.

Supermicro ha progettato la piattaforma per estendere la capacità della KV cache oltre la memoria locale delle GPU. Questo approccio consente ai sistemi IA di riutilizzare informazioni già elaborate invece di ripetere i calcoli. Lo storage condiviso aiuta inoltre le organizzazioni ad espandere la capacità di inferenza mantenendo prestazioni applicative costanti.

La tecnologia KV cache offre una risposta del primo token fino a 56 volte più veloce

Supermicro e NVIDIA hanno testato la tecnologia utilizzando un modello linguistico di grandi dimensioni contenente 120 miliardi di parametri. I test hanno registrato prestazioni time-to-first-token fino a 56 volte più veloci con prompt di 130.000 token, dimostrando miglioramenti sostanziali quando il sistema riutilizza le informazioni in cache. Il time-to-first-token misura l'attesa prima che un modello inizi a produrre output, un valore di latenza che cresce con la lunghezza del prompt quando il contesto non è in cache.

Durante i test, con la lunghezza dell'input aumentata da 30.000 a 130.000 token, il tempo di preparazione della risposta è aumentato di soli 0,377 secondi con la cache, rispetto a 29,55 secondi senza caching. Questi risultati hanno evidenziato i potenziali benefici della tecnologia per le applicazioni che elaborano grandi quantità di informazioni.

La piattaforma supporta anche un utilizzo più elevato delle GPU riducendo calcoli non necessari e ritardi di elaborazione. La sua architettura condivisa consente a più cluster GPU di accedere in modo efficiente al contesto memorizzato, e le società hanno validato il sistema sotto carichi di lavoro intensi e condizioni di traffico di rete concorrente. Per gli operatori che gestiscono molti carichi di inferenza simultanei, questa combinazione lega l'architettura di storage direttamente alla produttività delle GPU e alla capacità di servizio.

Supermicro punta alla crescita dell'infrastruttura IA enterprise

L'annuncio amplia il portafoglio di infrastrutture di Supermicro mentre le aziende aumentano la spesa per il deployment di soluzioni IA e i servizi di inferenza. Le applicazioni enterprise si affidano sempre più ad assistenti di programmazione, flussi di lavoro automatizzati e sistemi che elaborano documenti lunghi, tutti elementi che richiedono capacità di storage affidabili insieme a risorse di calcolo potenti.

Supermicro offre anche servizi di integrazione rack in fabbrica e di deployment per la nuova piattaforma. Secondo la società, questi servizi possono ridurre i tempi di deployment da settimane a giorni. IBM contribuisce con le capacità di gestione dello storage, mentre NVIDIA fornisce il software di inferenza e la tecnologia di rete.

La partnership rafforza la posizione di Supermicro nell'infrastruttura IA enterprise nonostante il netto calo azionario. La società ha dichiarato che la sua ultima soluzione affronta l'efficienza di calcolo, la scalabilità dello storage e l'affidabilità dei sistemi nelle applicazioni più esigenti. Tuttavia, l'annuncio non ha incluso forecast finanziari né contributi di ricavi confermati dalla nuova piattaforma, lasciando l'adozione da parte dei clienti e il contributo commerciale della piattaforma alle future comunicazioni della società.

Fonte: Blockonomi