El nuevo chip insignia de Qualcomm, el Snapdragon 8 Elite Extreme Gen 6, puede ejecutar un modelo de IA de 30 mil millones de parámetros directamente en un teléfono sin enrutar las solicitudes a la nube. La compañía presentó la plataforma en su Snapdragon Summit del 22 de septiembre, junto con un Snapdragon 8 Elite Gen 6 de gama inferior, según el anuncio de Qualcomm.

El diseño mixture-of-experts supera la presentación de Apple en la WWDC

El modelo en el dispositivo utiliza una arquitectura mixture-of-experts. Aunque la red completa contiene 30 mil millones de parámetros, solo una fracción se activa para cada tarea, manteniendo la carga de cómputo manejable en un dispositivo con batería.

El número de parámetros es la métrica estándar para comparar la escala de los modelos. En comparación, Apple reveló un modelo mixture-of-experts de 20 mil millones de parámetros en su Conferencia Mundial de Desarrolladores en junio, su modelo fundacional de tercera generación más avanzado.

Ambos chips nuevos también incluyen nuevos hubs de sensores que ejecutan modelos más pequeños de hasta 200 millones de parámetros. Qualcomm dijo que estos hubs permiten que un teléfono ejecute localmente una herramienta de transcripción personal y distinga a un hablante de otro. También construyen una memoria de cómo una persona usa el dispositivo para proponer tareas automatizadas, y la compañía indicó que un agente completo de entrada y salida de voz puede ejecutarse en el chip. Esas características son la sustancia detrás de las "experiencias de IA agéntica" que Qualcomm describe: software que puede actuar en nombre del usuario —proponiendo tareas o llevando una conversación de la entrada de voz a la salida de voz— en lugar de solo responder preguntas.

Nueve marcas se suman, encabezadas por el Signature 27 de Motorola

"Hoy marca un hito al presentar no una, sino dos plataformas móviles insignia, que ofrecen experiencias de IA agéntica inmediatas, personales y adaptables", dijo Chris Patrick, vicepresidente senior y gerente general de teléfonos móviles de Qualcomm Technologies.

Ambos chips se fabrican en un proceso de 2 nanómetros y combinan la CPU Oryon personalizada de Qualcomm, una GPU Adreno rearquitectada y una unidad de procesamiento neuronal Hexagon, según la compañía. La variante Extreme captura video 8K a 60 cuadros por segundo y 4K a 240 cuadros por segundo para cámara lenta. Ambas plataformas incluyen la función voice bubble de Qualcomm para el aislamiento de voz.

Las plataformas están previstas para dispositivos de HONOR, iQOO, Motorola, OnePlus, OPPO, REDMI, RedMagic, vivo y Xiaomi. Motorola anunció el Motorola Signature 27, basado en el chip Extreme, en el evento, con disponibilidad general en algún momento de este año. Es el único dispositivo anunciado en el evento con un calendario de disponibilidad, lo que convierte su lanzamiento en el primer hito anunciado para que el chip Extreme llegue a manos de los consumidores.

Como informó Cryptopolitan el 22 de septiembre, Apple está posicionando sus nuevas computadoras de escritorio Mac mini y Mac Studio como máquinas de IA local para empresas, sin cargos en la nube por token. Leídos en conjunto, ambos movimientos comparten una premisa: la IA puede ejecutarse en hardware que el cliente posee en lugar de en una nube que cobra por token.