Super Micro Computer(SMCI)の株価は、重い売り圧力の中で10.03%下落し、2.97ドル安の26.63ドルとなった。下落は、IBMとNVIDIAとの協業により開発された新たなAIストレージソリューションの発表と同時に発生した。この技術は、AI推論の高速化、GPU効率の向上、拡大する企業ワークロードへの対応を目的としている。

スーパーマイクロ、IBMおよびNVIDIAとAIストレージソリューションで協業

スーパーマイクロは、3大インフラプロバイダーの技術を組み合わせた新たなKVキャッシュストレージプラットフォームを発表した。同システムは、Supermicro Petascaleオールフラッシュサーバー、IBM Storage Scaleソフトウェア、NVIDIA Dynamoを統合し、NVIDIA Spectrum-Xイーサネットネットワーキングを備えたAMD EPYC 9005プロセッサー上に構築されている。

この協業は、エンタープライズアプリケーションおよびクラウドインフラ全体で高まるより高速なAI推論の需要を狙ったものである。最新のAIシステムはより大規模なデータセットとより長い会話を処理するため、既存のメモリーリソースへの負荷が増大しており、企業は処理効率を損なわずに複雑なワークロードを処理できるストレージシステムを必要としている。KVキャッシュのオフロードは、この制約に直接対応するものであり、再利用可能なモデルコンテキストを容量の限られたGPUメモリーから共有フラッシュストレージへ移動させ、キャッシュ容量を需要に応じて拡張可能なリソースへと変える。

スーパーマイクロは、KVキャッシュ容量をローカルのGPUメモリーを超えて拡張できるようこのプラットフォームを設計した。このアプローチにより、AIシステムは計算を繰り返すことなく、以前に処理した情報を再利用できる。さらに、共有ストレージは、アプリケーションパフォーマンスの一貫性を維持しながら、組織が推論キャパシティーを拡張するのに役立つ。

KVキャッシュ技術、最初のトークン応答を最大56倍高速化

スーパーマイクロとNVIDIAは、1,200億パラメーターの大規模言語モデルを用いてこの技術をテストした。そのテストでは、13万トークンのプロンプトにおいて、time-to-first-token(最初のトークン応答までの時間)のパフォーマンスが最大56倍高速化されることが記録され、システムがキャッシュされた情報を再利用する際に大幅な改善が示された。time-to-first-tokenは、モデルが出力を生成し始めるまでの待ち時間を測定する指標であり、コンテキストがキャッシュされていない場合はプロンプトの長さに伴って増大する。

テスト中に入力長が3万トークンから13万トークンに増加した際、キャッシュ使用時の応答準備時間の増加はわずか0.377秒だったのに対し、キャッシュなしでは29.55秒だった。この結果は、大量の情報を処理するアプリケーションに対するこの技術の潜在的な利点を浮き彫りにした。

同プラットフォームは、不要な計算や処理の遅延を削減することで、より高いGPU利用率も実現する。その共有アーキテクチャーにより、複数のGPUクラスターが保存されたコンテキストに効率的にアクセスでき、両社は重いワークロードおよび競合するネットワークトラフィック条件下で同システムを検証した。多くの同時推論ワークロードを運用する事業者にとって、この組み合わせはストレージアーキテクチャーをGPUの生産性および提供キャパシティーに直接結び付けるものである。

スーパーマイクロ、エンタープライズAIインフラの成長を狙う

この発表は、企業がAI導入および推論サービスへの支出を増やす中で、スーパーマイクロのインフラポートフォリオを拡大するものである。エンタープライズアプリケーションでは、コーディングアシスタント、自動化ワークフロー、長文ドキュメントを処理するシステムの利用が増えており、いずれも強力なコンピューティングリソースと併せて信頼性の高いストレージ容量を必要とする。

スーパーマイクロは、この新プラットフォーム向けに工場でのラック統合および導入サービスも提供している。同社によると、これらのサービスにより導入期間を数週間から数日へ短縮できるという。IBMはストレージ管理機能を、NVIDIAは推論ソフトウェアおよびネットワーキング技術を提供している。

この提携は、株価の急落にもかかわらず、エンタープライズAIインフラにおけるスーパーマイクロの地位を強化するものである。同社は、最新ソリューションが demanding なアプリケーション全体でのコンピューティング効率、ストレージのスケーラビリティー、システムの信頼性に対応していると述べた。ただし、この発表には業績予想や新プラットフォームによる確認済みの収益貢献は含まれておらず、顧客の採用状況およびプラットフォームの商業的貢献は、今後の会社開示を通じて明らかにされることになる。

出典: Blockonomi