Meta 推出了 Muse Glimmer，這是一個擁有 300 億參數的人工智慧模型，專為在消費級電腦上本地運行而打造。該模型的權重已根據 Apache 2.0 授權發布，開發者可以自由下載、修改和部署。Muse Glimmer 標誌著 Meta 超級智慧實驗室首次以開源權重形式發布模型，延續了該公司透過 Llama 模型系列推行開放 AI 系統的策略。開源權重的方式與 OpenAI 和 Google 等公司提供的完全專有模型形成對比，讓開發者能夠完全掌握模型內部結構，並針對特定使用場景進行微調，而無需依賴託管 API。

功能與架構

Muse Glimmer 專為能夠在無需使用者持續監督的情況下執行多步驟任務的 AI 代理而設計。該模型可以規劃工作流程、呼叫外部工具、驗證中間結果，並在步驟失敗時自主恢復。這使 Glimmer 處於產業日益推動的代理式 AI 浪潮之中——這類模型不僅能生成文字，還能代表使用者執行操作——Anthropic 和 Google 等公司也在該領域投入大量資源。

根據 Meta 的說法，該模型可在配備 24GB 或 32GB 記憶體的裝置上運行。相容的硬體包括搭載 M4 或 M5 晶片的 Mac，以及配備單一消費級 GPU（如 NVIDIA RTX 5090 或 AMD Radeon AI PRO）的系統。推理過程不需要網路連接，這意味著使用者資料在處理過程中會保留在裝置上——隨著企業和監管機構越來越嚴格地審查資訊如何流向雲端託管的 AI 服務，這一點變得日益重要。

該模型支援文字和影像處理，並已在涵蓋超過 100 種語言的資料集上完成訓練。

訓練與最佳化

Meta 使用從其更大的 Muse Spark 模型衍生而來的蒸餾流程訓練 Glimmer，並輔以針對推理、程式編寫和代理式任務的專項訓練。蒸餾——將較大模型的能力轉移到更小、更高效的模型——已成為一種廣泛使用的技術，用於生成在保持優異效能的同時能適配消費級硬體記憶體和運算限制的模型。該公司已發布模型的完整精度和 4-bit 版本，以及推理程式碼和旨在加速文字生成的 DFlash 推測解碼系統。

Meta 報告指出，與標準生成效能相比，DFlash 在 NVIDIA RTX 5090 上將 Glimmer 的生成速度提升了 3.1 倍，在 M5 Max 上提升了 1.8 倍，在 M4 Max 上提升了 1.5 倍。

可用性與合作夥伴

Muse Glimmer 可透過 Hugging Face 取得，對 Ollama、LM Studio、llama.cpp 和 MLX 等工具的支援正在陸續推出。這些是目前最廣泛使用的本地運行大型語言模型開源框架，其整合意味著開發者可以將 Glimmer 納入現有工作流程，而無需使用專有軟體。Meta 表示，正在與 AMD、Arm、Dell、Intel 和 NVIDIA 等合作夥伴合作，以最佳化跨硬體平台的效能。

該公司指出，開發者可以利用該模型進行本地程式編寫、工具呼叫、檔案管理和其他代理式應用。Meta 預計還將在未來幾週內發布 Muse Spark 1.2（其領先的基礎模型之一）的權重，這將使開源社群能夠取得一個更大、更強大的模型，用於比較和進一步開發。

來源：TechNext24

主要參考：Meta 研究 – 介紹 Muse Glimmer