Die Aktie von Super Micro Computer (SMCI) stürzte unter starkem Verkaufsdruck um 10,03 % auf 26,63 $ ab, ein Minus von 2,97 $. Der Rückgang erfolgte, obwohl das Unternehmen eine neue KI-Speicherlösung ankündigte, die in Zusammenarbeit mit IBM und NVIDIA entwickelt wurde – eine Technologie, die die KI-Inferenz beschleunigen, die GPU-Effizienz verbessern und wachsende Enterprise-Workloads unterstützen soll.

Supermicro arbeitet mit IBM und NVIDIA an KI-Speicherlösung

Supermicro hat eine neue KV-Cache-Speicherplattform vorgestellt, die Technologien von drei großen Infrastrukturanbietern kombiniert. Das System integriert Supermicro-Petascale-All-Flash-Server, die Software IBM Storage Scale und NVIDIA Dynamo und basiert auf AMD-EPYC-9005-Prozessoren mit NVIDIA-Spectrum-X-Ethernet-Vernetzung.

Die Zusammenarbeit richtet sich an die wachsende Nachfrage nach schnellerer KI-Inferenz in Unternehmensanwendungen und Cloud-Infrastrukturen. Moderne KI-Systeme verarbeiten größere Datensätze und längere Konversationen, was die vorhandenen Speicherressourcen stärker belastet, und Unternehmen benötigen Speichersysteme, die komplexe Workloads bewältigen können, ohne die Verarbeitungseffizienz zu mindern. KV-Cache-Offloading setzt genau an dieser Einschränkung an: Es verlagert wiederverwendbaren Modellkontext vom begrenzten GPU-Speicher auf gemeinsamen Flash-Speicher und macht Cache-Kapazität zu einer Ressource, die mit der Nachfrage skalieren kann.

Supermicro hat die Plattform so konzipiert, dass sie die KV-Cache-Kapazität über den lokalen GPU-Speicher hinaus erweitert. Dieser Ansatz ermöglicht es KI-Systemen, zuvor verarbeitete Informationen wiederzuverwenden, anstatt Berechnungen zu wiederholen. Gemeinsamer Speicher hilft Organisationen zudem, die Inferenzkapazität auszubauen und dabei eine konsistente Anwendungsleistung beizubehalten.

KV-Cache-Technologie liefert bis zu 56x schnellere First-Token-Antwort

Supermicro und NVIDIA haben die Technologie mit einem großen Sprachmodell mit 120 Milliarden Parametern getestet. Dabei wurde eine bis zu 56 Mal schnellere Time-to-First-Token-Leistung bei Prompts mit 130.000 Tokens verzeichnet, was erhebliche Verbesserungen zeigte, wenn das System zwischengespeicherte Informationen wiederverwendete. Time-to-First-Token misst die Wartezeit, bis ein Modell mit der Ausgabe beginnt – eine Latenz, die mit der Prompt-Länge wächst, wenn der Kontext nicht zwischengespeichert ist.

Während die Eingabelängen im Test von 30.000 auf 130.000 Tokens anstiegen, erhöhte sich die Vorbereitungszeit der Antwort mit Caching nur um 0,377 Sekunden, verglichen mit 29,55 Sekunden ohne Caching. Diese Ergebnisse verdeutlichten die potenziellen Vorteile der Technologie für Anwendungen, die umfangreiche Informationen verarbeiten.

Die Plattform unterstützt zudem eine höhere GPU-Auslastung, indem unnötige Berechnungen und Verzögerungen reduziert werden. Ihre gemeinsame Architektur ermöglicht mehreren GPU-Clustern den effizienten Zugriff auf gespeicherten Kontext, und die Unternehmen haben das System unter hohen Workloads und konkurrierendem Netzwerkverkehr validiert. Für Betreiber, die viele gleichzeitige Inferenz-Workloads ausführen, verknüpft diese Kombination die Speicherarchitektur direkt mit GPU-Produktivität und Serverkapazität.

Supermicro zielt auf Wachstum im Enterprise-KI-Infrastrukturbereich

Die Ankündigung erweitert Supermicros Infrastrukturportfolio, während Unternehmen ihre Ausgaben für KI-Bereitstellung und Inferenzdienste erhöhen. Unternehmensanwendungen setzen zunehmend auf Coding-Assistenten, automatisierte Workflows und Systeme, die lange Dokumente verarbeiten – alles Anwendungen, die zuverlässige Speicherkapazität neben leistungsstarken Rechenressourcen erfordern.

Supermicro bietet für die neue Plattform auch Rack-Integration ab Werk sowie Bereitstellungsdienste an. Nach Angaben des Unternehmens können diese Dienste die Bereitstellungszeit von Wochen auf Tage verkürzen. IBM steuert Speicherverwaltungsfunktionen bei, während NVIDIA Inferenzsoftware und Netzwerktechnologie beisteuert.

Die Partnerschaft stärkt Supermicros Position in der Enterprise-KI-Infrastruktur, trotz des starken Kursrückgangs. Das Unternehmen erklärte, seine neueste Lösung adressiere Recheneffizienz, Speicherskalierbarkeit und Systemzuverlässigkeit bei anspruchsvollen Anwendungen. Die Ankündigung enthielt jedoch keine Finanzprognosen oder bestätigten Umsatzbeiträge aus der neuen Plattform, sodass Kundenadoption und kommerzieller Beitrag der Plattform in künftigen Unternehmensberichten zu beobachten bleiben.

Quelle: Blockonomi