Meta przedstawiła Muse Glimmer, model sztucznej inteligencji o 30 miliardach parametrów, zbudowany do lokalnego działania na komputerach klasy konsumenckiej. Wagi modelu zostały opublikowane na licencji Apache 2.0, co umożliwia programistom ich swobodne pobieranie, modyfikowanie i wdrażanie. Muse Glimmer jest pierwszym wydaniem z Meta Superintelligence Labs udostępnionym z otwartymi wagami, kontynuując strategię firmy polegającą na publikowaniu otwartych systemów AI, realizowaną wcześniej w rodzinie modeli Llama. Podejście oparte na otwartych wagach kontrastuje z w pełni zamkniętymi modelami oferowanymi przez firmy takie jak OpenAI i Google, zapewniając programistom pełną widoczność modelu oraz możliwość dostrajania go do konkretnych zastosowań bez zależności od hostowanego API.

Możliwości i architektura

Muse Glimmer został zaprojektowany z myślą o agentach AI zdolnych do wykonywania wieloetapowych zadań bez ciągłego nadzoru użytkownika. Model może planować przepływy pracy, wywoływać zewnętrzne narzędzia, weryfikować wyniki pośrednie i autonomicznie odzyskiwać sprawność po nieudanych krokach. Sytuuje to Glimmer w ramach rosnącego trendu branżowego wokół agentowego AI — modeli zaprojektowanych nie tylko do generowania tekstu, lecz także do podejmowania działań w imieniu użytkownika — w który intensywnie inwestują również firmy takie jak Anthropic i Google.

Według Meta model działa na urządzeniach wyposażonych w 24GB lub 32GB pamięci. Obsługiwany sprzęt obejmuje Maci z układami M4 lub M5, a także systemy z pojedynczym konsumenckim GPU, takim jak NVIDIA RTX 5090 lub AMD Radeon AI PRO. Do działania wnioskowania nie jest wymagane połączenie z internetem, co oznacza, że dane użytkownika pozostają na urządzeniu podczas przetwarzania — to coraz ważniejsza kwestia, ponieważ przedsiębiorstwa i regulatorzy analizują, w jaki sposób informacje przepływają do usług AI hostowanych w chmurze.

Model obsługuje przetwarzanie tekstu i obrazów oraz został wytrenowany na zbiorach danych obejmujących ponad 100 języków.

Trening i optymalizacja

Meta trenowała Glimmer, wykorzystując proces destylacji oparty na większym modelu Muse Spark, uzupełniony ukierunkowanym treningiem z zakresu rozumowania, kodowania i zadań agentowych. Destylacja — przenoszenie możliwości z większego modelu do mniejszego, bardziej efektywnego — stała się powszechnie stosowaną techniką tworzenia modeli, które zachowują wysoką skuteczność, a jednocześnie mieszczą się w ograniczeniach pamięci i mocy obliczeniowej sprzętu konsumenckiego. Firma opublikowała zarówno wersje pełnoprecyzyjne, jak i 4-bitowe modelu, a także kod inferencyjny oraz system dekodowania spekulacyjnego DFlash, zaprojektowany w celu przyspieszenia generowania tekstu.

Meta podała, że system DFlash zwiększył szybkość generowania Glimmer 3.1 razy na NVIDIA RTX 5090, 1.8 razy na M5 Max oraz 1.5 razy na M4 Max, w porównaniu ze стандартowym generowaniem.

Dostępność i partnerstwa

Muse Glimmer jest dostępny przez Hugging Face, a wsparcie dla narzędzi takich jak Ollama, LM Studio, llama.cpp i MLX jest obecnie wdrażane. Są to jedne z najczęściej używanych otwartoźródłowych frameworków do lokalnego uruchamiania dużych modeli językowych, a ich integracja oznacza, że programiści mogą włączyć Glimmer do istniejących przepływów pracy bez użycia oprogramowania własnościowego. Meta poinformowała, że współpracuje również z partnerami, w tym AMD, Arm, Dell, Intel i NVIDIA, aby optymalizować wydajność na różnych platformach sprzętowych.

Firma zaznaczyła, że programiści mogą wykorzystywać model do lokalnego kodowania, wywoływania narzędzi, zarządzania plikami i innych zastosowań agentowych. Meta oczekuje również, że w nadchodzących tygodniach opublikuje wagi dla Muse Spark 1.2, jednego ze swoich wiodących modeli bazowych, co da społeczności open source dostęp do większego i bardziej zaawansowanego modelu do porównań i dalszych prac rozwojowych.

Źródło: TechNext24

Źródło podstawowe: Meta Research – Introducing Muse Glimmer