Meta представила Muse Glimmer — модель искусственного интеллекта с 30 миллиардами параметров, созданную для локальной работы на потребительских компьютерах. Веса модели опубликованы по лицензии Apache 2.0, что позволяет разработчикам свободно загружать, изменять и развёртывать её. Muse Glimmer стала первым релизом Meta Superintelligence Labs, вышедшим с открытыми весами, продолжая стратегию компании по выпуску открытых ИИ-систем, которую Meta развивала в рамках семейства моделей Llama. Подход с открытыми весами отличается от полностью проприетарных моделей компаний вроде OpenAI и Google, предоставляя разработчикам полный доступ к модели и возможность дообучать её под конкретные сценарии без зависимости от хостируемого API.

Возможности и архитектура

Muse Glimmer рассчитана на ИИ-агентов, способных выполнять многоэтапные задачи без постоянного контроля со стороны пользователя. Модель может планировать рабочие процессы, вызывать внешние инструменты, проверять промежуточные результаты и автономно восстанавливаться после неудачных шагов. Это помещает Glimmer в растущий тренд на агентный ИИ — модели, предназначенные не только для генерации текста, но и для выполнения действий от имени пользователя, — в который также активно инвестируют компании вроде Anthropic и Google.

По данным Meta, модель работает на устройствах с 24GB или 32GB памяти. Совместимое оборудование включает Mac на чипах M4 или M5, а также системы с одним потребительским GPU, таким как NVIDIA RTX 5090 или AMD Radeon AI PRO. Для вывода результатов подключение к интернету не требуется, что означает, что данные пользователя остаются на устройстве во время обработки — это становится всё более важным фактором по мере того, как компании и регуляторы анализируют, как информация передаётся в облачные ИИ-сервисы.

Модель также умеет обрабатывать текст и изображения и была обучена на данных более чем на 100 языках.

Обучение и оптимизация

Meta обучала Glimmer с использованием процесса дистилляции, основанного на более крупной модели Muse Spark, а также дополнительного обучения, сфокусированного на рассуждении, программировании и агентных задачах. Дистилляция — перенос возможностей от более крупной модели к меньшей и более эффективной — стала широко используемой техникой создания моделей, сохраняющих высокую производительность при ограничениях по памяти и вычислительным ресурсам потребительского оборудования. Компания выпустила как полноточные, так и 4-битные версии модели, а также код инференса и систему вероятностного декодирования DFlash, предназначенную для ускорения генерации текста.

Meta сообщила, что DFlash увеличила скорость генерации Glimmer в 3.1 раза на NVIDIA RTX 5090, в 1.8 раза на M5 Max и в 1.5 раза на M4 Max по сравнению со стандартной генерацией.

Доступность и партнёрства

Muse Glimmer доступна через Hugging Face, при этом поддержка инструментов, включая Ollama, LM Studio, llama.cpp и MLX, сейчас поэтапно внедряется. Это одни из наиболее широко используемых open-source-фреймворков для локального запуска больших языковых моделей, и их интеграция означает, что разработчики могут включать Glimmer в существующие рабочие процессы без проприетарного программного обеспечения. Meta также заявила, что сотрудничает с партнёрами, включая AMD, Arm, Dell, Intel и NVIDIA, чтобы оптимизировать производительность на разных аппаратных платформах.

Компания отметила, что разработчики могут использовать модель для локального программирования, вызова инструментов, управления файлами и других агентных приложений. Meta также ожидает выпустить веса Muse Spark 1.2, одной из своих ведущих базовых моделей, в ближайшие недели, что даст open-source-сообществу доступ к более крупной и более способной модели для сравнения и дальнейшей разработки.

Источник: TechNext24

Основной источник: Meta Research – Introducing Muse Glimmer