Las acciones de Super Micro Computer (SMCI) se desplomaron 10.03% hasta US$26.63, una caída de US$2.97, amid fuerte presión vendedora. La baja se produjo incluso mientras la compañía anunciaba una nueva solución de almacenamiento para IA desarrollada en colaboración con IBM y NVIDIA, una tecnología diseñada para acelerar la inferencia de IA, mejorar la eficiencia de los GPU y soportar cargas de trabajo empresariales en expansión.

Supermicro se asocia con IBM y NVIDIA en una solución de almacenamiento para IA

Supermicro presentó una nueva plataforma de almacenamiento de caché KV que combina tecnologías de tres grandes proveedores de infraestructura. El sistema integra servidores Supermicro Petascale all-flash, el software IBM Storage Scale y NVIDIA Dynamo, y está construido sobre procesadores AMD EPYC 9005 con redes NVIDIA Spectrum-X Ethernet.

La colaboración apunta a la creciente demanda de una inferencia de IA más rápida en aplicaciones empresariales e infraestructura en la nube. Los sistemas modernos de IA procesan conjuntos de datos más grandes y conversaciones más largas, lo que aumenta la presión sobre los recursos de memoria existentes, y las compañías requieren sistemas de almacenamiento capaces de manejar cargas de trabajo complejas sin reducir la eficiencia de procesamiento. La descarga de caché KV responde directamente a esa restricción: traslada el contexto reutilizable del modelo desde la memoria limitada del GPU a almacenamiento flash compartido, convirtiendo la capacidad de caché en un recurso que puede escalar según la demanda.

Supermicro diseñó la plataforma para extender la capacidad de caché KV más allá de la memoria local del GPU. Este enfoque permite a los sistemas de IA reutilizar información previamente procesada en lugar de repetir cálculos. El almacenamiento compartido también ayuda a las organizaciones a expandir la capacidad de inferencia manteniendo un rendimiento consistente de las aplicaciones.

La tecnología de caché KV ofrece respuestas hasta 56 veces más rápidas en el primer token

Supermicro y NVIDIA probaron la tecnología utilizando un modelo de lenguaje de 120 mil millones de parámetros. Sus pruebas registraron un rendimiento de tiempo hasta el primer token hasta 56 veces más rápido con prompts de 130,000 tokens, demostrando mejoras sustanciales cuando el sistema reutilizó información en caché. El tiempo hasta el primer token mide la espera antes de que un modelo comience a generar salida, una cifra de latencia que crece con la longitud del prompt cuando el contexto no está en caché.

A medida que la longitud de la entrada aumentó de 30,000 a 130,000 tokens durante las pruebas, el tiempo de preparación de la respuesta subió solo 0.377 segundos con caché, en comparación con 29.55 segundos sin caché. Los hallazgos destacaron los beneficios potenciales de la tecnología para aplicaciones que procesan grandes volúmenes de información.

La plataforma también admite una mayor utilización del GPU al reducir cómputos innecesarios y retrasos de procesamiento. Su arquitectura compartida permite que múltiples clústeres de GPU accedan de manera eficiente al contexto almacenado, y las compañías validaron el sistema bajo cargas de trabajo intensas y condiciones de tráfico de red en competencia. Para los operadores que ejecutan muchas cargas de inferencia simultáneas, esa combinación vincula la arquitectura de almacenamiento directamente con la productividad del GPU y la capacidad de servicio.

Supermicro apunta al crecimiento de la infraestructura de IA empresarial

El anuncio expande el portafolio de infraestructura de Supermicro a medida que las empresas aumentan el gasto en despliegue de IA y servicios de inferencia. Las aplicaciones empresariales dependen cada vez más de asistentes de programación, flujos de trabajo automatizados y sistemas que procesan documentos extensos, todos los cuales requieren capacidad de almacenamiento confiable junto con recursos de cómputo potentes.

Supermicro también ofrece integración de racks en fábrica y servicios de despliegue para la nueva plataforma. Según la compañía, estos servicios pueden reducir los periodos de implementación de semanas a días. IBM aporta capacidades de gestión de almacenamiento, mientras que NVIDIA suministra el software de inferencia y la tecnología de redes.

La asociación fortalece la posición de Supermicro en la infraestructura de IA empresarial a pesar de la fuerte caída de la acción. La compañía dijo que su solución más reciente aborda la eficiencia de cómputo, la escalabilidad del almacenamiento y la confiabilidad del sistema en aplicaciones exigentes. Sin embargo, el anuncio no incluyó previsiones financieras ni contribuciones de ingresos confirmadas de la nueva plataforma, dejando la adopción por parte de clientes y la contribución comercial de la plataforma para observarse en futuras revelaciones de la compañía.

Fuente: Blockonomi