Meta ha presentato Muse Glimmer, un modello di intelligenza artificiale da 30 miliardi di parametri progettato per funzionare localmente su computer consumer. I pesi del modello sono stati pubblicati con licenza Apache 2.0, consentendo agli sviluppatori di scaricarlo, modificarlo e distribuirlo liberamente. Muse Glimmer rappresenta la prima pubblicazione di Meta Superintelligence Labs distribuita con pesi aperti, proseguendo la strategia dell'azienda di rilasciare sistemi AI aperti già intrapresa con la famiglia di modelli Llama. L'approccio open-weight si distingue dai modelli completamente proprietari offerti da aziende come OpenAI e Google, garantendo agli sviluppatori piena visibilità sul modello e la possibilità di ottimizzarlo per casi d'uso specifici senza dipendere da un'API ospitata.

Funzionalità e architettura

Muse Glimmer è progettato per agenti AI in grado di eseguire attività multi-step senza una supervisione continua da parte dell'utente. Il modello può pianificare flussi di lavoro, richiamare strumenti esterni, verificare i risultati intermedi e riprendersi autonomamente in caso di fallimento di un passaggio. Questo posiziona Glimmer all'interno di una crescente spinta del settore verso l'AI agentica, modelli progettati non solo per generare testo ma anche per compiere azioni per conto dell'utente, un ambito in cui anche aziende come Anthropic e Google stanno investendo massicciamente.

Secondo Meta, il modello opera su dispositivi dotati di 24GB o 32GB di memoria. L'hardware compatibile include Mac con chip M4 o M5, nonché sistemi con una singola GPU consumer come NVIDIA RTX 5090 o AMD Radeon AI PRO. Non è richiesta una connessione internet per l'inferenza, il che significa che i dati dell'utente rimangono sul dispositivo durante l'elaborazione, una considerazione sempre più importante man mano che aziende e regolatori esaminano il flusso delle informazioni verso i servizi AI basati su cloud.

Il modello supporta sia l'elaborazione di testo che di immagini ed è stato addestrato su set di dati che coprono oltre 100 lingue.

Addestramento e ottimizzazione

Meta ha addestrato Glimmer utilizzando un processo di distillazione derivato dal suo modello Muse Spark di dimensioni maggiori, integrato da un addestramento mirato su ragionamento, programmazione e attività agentiche. La distillazione, ovvero il trasferimento delle capacità da un modello più grande a uno più piccolo ed efficiente, è diventata una tecnica ampiamente utilizzata per produrre modelli che mantengono prestazioni elevate rientrando nei vincoli di memoria e calcolo dell'hardware consumer. L'azienda ha rilasciato sia la versione full-precision che quella a 4-bit del modello, oltre al codice di inferenza e a un sistema di decodifica speculativa DFlash volto ad accelerare la generazione di testo.

Meta ha riferito che DFlash ha aumentato la velocità di generazione di Glimmer di 3,1 volte su NVIDIA RTX 5090, di 1,8 volte su M5 Max e di 1,5 volte su M4 Max, rispetto alle prestazioni di generazione standard.

Disponibilità e partnership

Muse Glimmer è accessibile tramite Hugging Face, con il supporto per strumenti tra cui Ollama, LM Studio, llama.cpp e MLX in fase di rollout. Questi sono tra i framework open-source più diffusi per l'esecuzione locale di modelli linguistici di grandi dimensioni, e la loro integrazione consente agli sviluppatori di incorporare Glimmer nei flussi di lavoro esistenti senza software proprietario. Meta ha comunicato di collaborare con partner tra cui AMD, Arm, Dell, Intel e NVIDIA per ottimizzare le prestazioni sulle diverse piattaforme hardware.

L'azienda ha precisato che gli sviluppatori possono utilizzare il modello per programmazione locale, richiamo di strumenti, gestione dei file e altre applicazioni agentiche. Meta è inoltre attesa a rilasciare nelle prossime settimane i pesi di Muse Spark 1.2, uno dei suoi principali modelli fondazionali, il che fornirebbe alla comunità open-source l'accesso a un modello più grande e capace per confronti e ulteriori sviluppi.

Fonte: TechNext24

Riferimento principale: Meta Research – Introducing Muse Glimmer