Akcje Super Micro Computer (SMCI) spadły o 10,03% do 26,63 dolara, tj. o 2,97 dolara, pod silną presją podażową. Spadek nastąpił mimo ogłoszenia przez firmę nowego rozwiązania pamięci masowej dla AI opracowanego we współpracy z IBM i NVIDIA — technologii zaprojektowanej w celu przyspieszenia inferencji AI, poprawy wydajności GPU i obsługi rosnących obciążeń przedsiębiorstw.

Supermicro nawiązuje współpracę z IBM i NVIDIA w zakresie pamięci masowej dla AI

Supermicro zaprezentował nową platformę pamięci masowej KV cache łączącą technologie trzech głównych dostawców infrastruktury. System integruje serwery Supermicro Petascale all-flash, oprogramowanie IBM Storage Scale oraz NVIDIA Dynamo i jest zbudowany na procesorach AMD EPYC 9005 z siecią NVIDIA Spectrum-X Ethernet.

Współpraca odpowiada na rosnące zapotrzebowanie na szybszą inferencję AI w aplikacjach przedsiębiorstw i infrastrukturze chmurowej. Nowoczesne systemy AI przetwarzają większe zbiory danych i dłuższe rozmowy, co zwiększa obciążenie istniejących zasobów pamięci, a firmy wymagają systemów przechowywania danych zdolnych obsługiwać złożone obciążenia bez obniżania efektywności przetwarzania. Odciążanie KV cache bezpośrednio odpowiada na to ograniczenie: przenosi wielokrotnie używalny kontekst modelu z ograniczonej pamięci GPU do współdzielonej pamięci flash, przekształcając pojemność cache w zasób skalowalny wraz z zapotrzebowaniem.

Supermicro zaprojektował platformę tak, aby rozszerzyć pojemność KV cache poza lokalną pamięć GPU. To podejście pozwala systemom AI ponownie wykorzystywać wcześniej przetworzone informacje zamiast powtarzać obliczenia. Współdzielona pamięć masowa pomaga również organizacjom zwiększać przepustowość inferencji przy zachowaniu spójnej wydajności aplikacji.

Technologia KV cache zapewnia nawet 56 razy szybszą odpowiedź pierwszego tokena

Supermicro i NVIDIA przetestowali technologię z użyciem dużego modelu językowego zawierającego 120 miliardów parametrów. Testy wykazały nawet 56-krotnie krótszy czas do pierwszego tokena (time-to-first-token) przy promptach liczących 130 000 tokenów, co potwierdziło znaczące usprawnienia przy ponownym wykorzystaniu danych z cache. Time-to-first-token mierzy czas oczekiwania, zanim model zacznie generować wynik — wskaźnik opóźnienia, który rośnie wraz z długością prompta, gdy kontekst nie jest przechowywany w cache.

Gdy podczas testów długość wejścia wzrosła z 30 000 do 130 000 tokenów, czas przygotowania odpowiedzi wzrósł z cache jedynie o 0,377 sekundy, w porównaniu z 29,55 sekundy bez cache. Wyniki podkreśliły potencjalne korzyści technologii dla aplikacji przetwarzających obszerne informacje.

Platforma wspiera również wyższe wykorzystanie GPU poprzez redukcję zbędnych obliczeń i opóźnień przetwarzania. Jej współdzielona architektura pozwala wielu klastrom GPU efektywnie korzystać z przechowywanego kontekstu, a firmy zwalidowały system przy dużych obciążeniach i konkurencyjnym ruchu sieciowym. Dla operatorów uruchamiających wiele równoległych zadań inferencji połączenie to wiąże architekturę pamięci masowej bezpośrednio z produktywnością GPU i przepustowością obsługi.

Supermicro celuje w rozwój infrastruktury AI dla przedsiębiorstw

Ogłoszenie rozszerza portfolio infrastruktury Supermicro w momencie, gdy firmy zwiększają wydatki na wdrażanie AI i usługi inferencji. Aplikacje przedsiębiorstw w coraz większym stopniu korzystają z asystentów kodowania, zautomatyzowanych przepływów pracy oraz systemów przetwarzających długie dokumenty — wszystkich one wymagają niezawodnej pojemności przechowywania danych obok wydajnych zasobów obliczeniowych.

Supermicro oferuje również integrację racków w fabryce oraz usługi wdrożeniowe dla nowej platformy. Według firmy usługi te mogą skrócić okres wdrożenia z tygodni do dni. IBM wnosi możliwości zarządzania pamięcią masową, a NVIDIA dostarcza oprogramowanie inferencyjne i technologie sieciowe.

Współpraca wzmacnia pozycję Supermicro w infrastrukturze AI dla przedsiębiorstw mimo gwałtownego spadku kursu akcji. Firma stwierdziła, że jej najnowsze rozwiązanie odpowiada na wyzwania związane z efektywnością obliczeniową, skalowalnością pamięci masowej i niezawodnością systemów w wymagających aplikacjach. Ogłoszenie nie zawierało jednak prognoz finansowych ani potwierdzonych wkładów przychodowych nowej platformy, a przyjęcie przez klientów oraz komercyjny wkład platformy pozostają do zaobserwowania w przyszłych ujawnieniach spółki.

Źródło: Blockonomi